hadoop之hdfs参数配置详解

 1、hdfs-site.xml 参数配置

– dfs.name.dir

– NameNode 元数据存放位置

– 默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name

– dfs.block.size

– 对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。

– 默认值：67108864

– dfs.data.dir

– DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表，DataNode循环向磁盘中写入数据，每个DataNode可单独指定与其它DataNode不一样

– 默认值：${hadoop.tmp.dir}/dfs/data

– dfs.namenode.handler.count

– NameNode用来处理来自DataNode的RPC请求的线程数量 

– 建议设置为DataNode数量的10%，一般在10~200个之间 

– 如设置太小，DataNode在传输数据的时候日志中会报告“connecton refused"信息 

– 在NameNode上设定

– 默认值：10

– dfs.datanode.handler.count

– DataNode用来连接NameNode的RPC请求的线程数量

– 取决于系统的繁忙程度 

– 设置太小会导致性能下降甚至报错

– 在DataNode上设定

– 默认值：3

– dfs.datanode.max.xcievers

– DataNode可以同时处理的数据传输连接数 

– 默认值：256

– 建议值：4096

– dfs.permissions

– 如果是true则检查权限，否则不检查（每一个人都可以存取文件） 

– 于NameNode上设定

– 默认值：true

– dfs.datanode.du.reserved

– 在每个卷上面HDFS不能使用的空间大小 

– 在每个DataNode上面设定

– 默认值：0

– 建议为10737418240，即10G。需要结合MapReduce场景设置。 

– dfs.datanode.failed.volumes.tolerated

– DataNode可以容忍损块的磁盘数量，超过这个数量DataNode将会离线&#