HDFS 优化

一.hdfs-default.xml

1>.dfs.namenode.handler.count
NameNode 的服务器线程的数量。如果集群节点数在20左右的话，推荐设置为200。
2>.dfs.datanode.handler.count
数据节点的服务器线程数，默认为10。
3>.dfs.datanode.max.transfer.threads (dfs.datanode.max.xcievers）
DataNode可以同时处理的数据传输连接数
4>.dfs.namenode.avoid.read.stale.datanode
指示是否避免读取“过时”的数据节点（DataNode），这些数据节点（DataNode）的心跳消息在指定的时间间隔内未被名称节点（NameNode）接收。过时的数据节点（DataNode）将移动到返回供读取的节点列表的末尾。有关写入的类似设置，请参阅df.namenode.avoint.write.stale.datanode。默认值是flase，推荐设置为true。
5>.dfs.namenode.avoid.write.stale.
datanode指示超过失效 DataNode 时间间隔 NameNode 未收到检测信号信息时是否避免写入失效 DataNode。默认值是flase，推荐设置为true。
6>.dfs.datanode.balance.bandwidthPerSec (dfs.balance.bandwidthPerSec)
每个 DataNode 可用于平衡的最大带宽。单位为字节/秒。
7>.dfs.datanode.du.reserved
dfs.datanode.du.reserved定义了每个dfs.data.dir所定义的硬盘空间需要保留的大小，以byte为单位。默认情况下，该值为0，也就是说HDFS可以使用每个数据硬盘的所有空间，节点硬盘资源耗尽时就会进入读模式。
8>.dfs.block.size
HDFS数据块的大小。数据块设置太小会增加NameNode的压力。数据块设置过大会增加定位数据的时间。
9>.dfs.datanode.data.dir
HDFS数据存储目录。将数据存储分布在各个磁盘上可充分利用节点的I/O读写性能。

二.core-default.xml

1>.fs.trash.interval
垃圾桶检查点之间的分钟数。默认为禁用垃圾桶功能。
2>.io.file.buffer.size
HDFS文件缓冲区大小，默认为4096(即4K)。
3>.io.native.lib.available
本地库可以加快基本操作，例如IO，压缩等。 默认值为true，