动态地向hadoop集群添加一个新节点

由于hadoop集群的内存和负载有限,所以需要添加新的节点来扩充内存,提高mapreduce运行速度

一、将namenode节点的hadoop文件目录全部复制到新节点。

二、修改每个节点的hosts文件,将节点4的主机名加进去。

三、配置ssh免密登录,使得namenode登录新节点的时候不需要输入密码。

四、修改各节点的slaves文件,加入新节点的名称。

五、单独启动该节点上的Datanode进程和NodeManager进程。

     hadoop-daemon.sh start datanode

     yarn-daemon.sh start nodemanager

六、去http://hadoop1:50070查看datanode是否部署成功

七、添加了新节点之后,整个集群的负载均衡机制是偏斜的,你的新节点完全没有数据存在,所以这个时候namenode主节点应该执行一下,start-balancer.sh,重新平衡一下各个节点上数据块(block)的分布

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值