2012年09月19日 14:56:07 oO寒枫Oo 阅读数:5412
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxpbs8851/article/details/7996059
1.修改host
1) 新的slave的ip添加到master/etc/hosts中
2) 新的slave的ip添加到slaves的/etc/hosts中
3) 将master及其他slave的ip hostname对 添加到新的slave的/etc/hosts中
2.修改namenode的配置文件/app/hadoop/conf/slaves
添加新增节点的ip或hostname
3.启动新节点的机器服务
/app/hadoop/bin/hadoop-daemon.sh start datanode
/app/hadoop/bin/hadoop-daemon.sh start tasktracker
4.平衡磁盘利用率:
/app/hadoop/bin/start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低Map Reduce的工作效率
2)threshold是平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
/app/hadoop/bin/start-balancer.sh -threshold 0.1
3)在namenode的配置文件 hdfs-site.xml 可以加上balance的带宽(默认值就是1M):
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>1048576</value>
<description>
Specifies the maximum amount of bandwidth that each datanode
can utilize for the balancing purpose in term of
the number of bytes per second.
</description>
</property>