Hadoop 各节点负载均衡

Hadoop 各节点负载均衡

背景：

        对于HDFS集群，经常长时间的运行，数据量会增趋势性增长，hdfs的使用率会越来越饱和，此时会对hdfs进行扩容，而扩容之后为了提高各个datanode之间的分布式读写效率，必须实现节点之间的负载均衡。另外集群经过大量的delete操作后，各个Datanode上的空间使用率可能会存在比较大的差异，少数使用率过高的Datanode会导致对其的数据访问效率变低，并且如果该Datanode挂掉，需要更多的时间进行恢复，对集群也会造成更大的影响，基于此，本文基于hadoop自带的balancer机制进行研究。

 

负载均衡命令：

bin/start-balancer.sh[-threshold <threshold>]

 

原理解析：

       通过上面的命令可以使Hadoop对各个Datanode进行评估并使他们保持平衡，参数threshold表示的平衡的阀值&#