HDFS参数调优

• 情景描述：开启Hadoop时候DN要向NN注册，那么NN开启多少个接客线程比较合适？
• NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作，对于打击群或者有大量客户端的集群来说，通常需要增大参数
• dfs.namenode.handler.count的默认值是10
• 有一个公式用来计算开启多少工作线程

dfs.namenode.handler.count=20 * log以e为底 集群台数

• e.g.比如集群规模为8台，此参数设置为41，可以通过简单的python代码计算，代码如下：

import math
print int(20*math.log(8))

• 这个参数在hdfs-site.xml里面设置

<property>
	<name>dfs.namenode.handler.count</name>
	<value>10</value>
</property>