CDH中hdfs平衡datanode节点数据

CDH版HDFS Block Balancer方法

命令：

sudo -u hdfs hdfs balancer

 

默认会检查每个datanode的磁盘使用情况，对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。

 

 

指定阀值，该阀值是datanode节点的磁盘使用占整个集群的百分比。

sudo -u hdfs hdfs balancer -threshold 20 -policy blockpool #表示超过整个集群5%容量的节点进行均衡block

sudo -u hdfs hdfs balancer -threshold 20 -policy blockpool -threshold 20 -policy blockpool

 

设置均衡的带宽，默认设置：1048576（1 M/S）

参数含义：设置balance工具在运行中所能占用的带宽，设置的过大可能会造成mapred运行缓慢

 

sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth  104857600 #表示设置带宽可使用100Mb