关于集群数据负载均衡

一、环境

1、hadoop 0.20.2

2、操作系统 Linux

二、关于负载均衡

1、一般情况下，数据在录入集群的时候就进行负载均衡，根据各个节点的情况来做数据平衡分发存放。

2、但是如果在新增节点之后，如果想做到负载均衡则需要使用balancer的命令。对于这个命令，一般是有一个阀值，默认是10%

也就是说，节点之间差额不过10%，集群认为就是均衡的。

3、当然，负载的越平均，查询相对也较快，但是均衡的过程会耗时不少。

三、操作

1、新添加节点到集群，启动节点机器

sh hadoop-daemon.sh start datanode
sh hadoop-daemon.sh start tasktracker

2、启动balancer命令

sh stop-balancer.sh

3、查看进程jps

15294 NameNode
15961 Balancer
15553 JobTracker
15473 SecondaryNameNode
16162 Jps

可以看到balancer已启动

4、检查是否在平衡，通过http://192.168.3.131:50070/dfsnodelist.jsp?whatNodes=LIVE查看

四、总结

1、平衡的过程比较慢，但是在这个过程中可以执行一些job

2、数据的平衡是缓慢进行的。

3、平衡的阀值一般是10%,可以通过修改阀值来再次平衡

4、负载均衡如果重复启动，将会提醒要求先停止

5、写的不对或是有疑问，欢迎发邮件沟通。dajuezhao@gmail.com