hadoop2.7.3关于hdfs配置项的变动（相比较hadoop2.6.0)

hadoop2.7.3关于hdfs配置项的变动（相比较hadoop2.6.0)

调查方式：我从hadoop的官方网站下载了2.6.0 和2.7.3 版本的hdfs-default.xml

$ wget http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

$ wget http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

下载完成之后，我将这了两份hdfs-default.xml做了diff，从而可以直观地看到配置项地增加、移除、或者改动。

英文水平，理解能力有限，如果有错误，请大家指正。

新增的配置项

一、dfs.namenode.heartbeat.recheck-interval

• 默认值：300000
• 描述：namenode对过期datanode的心跳的检查间隔，单位是毫秒。

二、dfs.namenode.decommission.blocks.per.interval

• 默认值：500000
• 描述：每经历一次下线节点检测间隔，需要检测的大致block数量

三、dfs.namenode.block-placement-policy.default.prefer-local-node

• 默认值：true
• 描述：关于block的第一个replication的位置，设置为true，会优先在clinet的那台机器上，如果设置为false，会优先在client的同机架的其他的节点上

四、dfs.datanode.scan.period.hours

• 默认值：504
• 描述：一个扫描周期

五、dfs.block.scanner.volume.bytes.per.second

• 默认值：1048576
• 描述：扫描的限流

六、dfs.namenode.top.enabled

• 默认值：true
• 描述：Enable nntop: reporting top users on namenode

七、dfs.namenode.top.window.num.buckets

• 默认值：10
• 描述：Number of buckets in the rolling window implementation of nntop

八、dfs.namenode.top.num.users

• 默认值：10
• 描述：Number of top users returned by the top tool

九、dfs.namenode.top.windows.minutes

• 默认值：1，5,25
• 描述：comma separated list of nntop reporting periods in minutes

十、dfs.datanode.block-pinning.enabled

• 默认值：false
• 描述：是否pin优先datanode上的block

十一、dfs.datanode.bp-ready.timeout

• 默认值：20
• 描述：datanode没有收到request的最大等待时间

改动的配置项

一、dfs.namenode.fs-limits.max-directory-items

• 默认值：1048576
• 描述：定义一个目录最大的item数，设置为0将会使该检查失效
• 改动：在2.7.3版本中，必须设置为1~6400000.

移除的配置项

一、dfs.namenode.logging.level

• 默认值：info
• 描述：该设置项是namenode的日志级别，还可以设置为 dir（追踪namespace的变动），block (追踪block的创建、删除），也可以设置为 all。
• 我大致地追踪了一下运行了一段时间的hadoop集群（有过文件的上传和删除）的namenode日志，发现日志级别依然是info。但是2.7.3移除了该默认配置项，所以，我猜测该配置项在代码中依然有效。

二、dfs.support.append

• 默认值：true
• 描述：是否支持往同一个文件中追加内容

三、dfs.https.enable

• 默认值：false
• 描述:在2.6.0中的hdfs-default.xml就这样描述，不提倡使用，用”dfs.http.policy”代替。dfs.http.policy这个配置项，在2.6.0已经有，dfs.http.policy这个配置项在2.7.3被移除。

四、dfs.namenode.decommission.nodes.per.interval

• 默认值：5
• 描述：每经历一次下线节点检测间隔，需要检测的节点数量