Hadoop集群下线节点

Hadoop提供了Decommission的特性,可以按照以下步骤来操作:

1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip

    一个节点一行,注意要写ip,不能写Hostname,如:

     10.10.70.73

2. 在hdfs-site.xml中增加配置:

<property>    
    <name>dfs.hosts.exclude</name>    
    <value>/opt/sohuhadoop/conf/excludes</value>    
    <final>true</final>
</property>

3. 在mapred-site.xml中增加配置:

<property>    
    <name>mapred.hosts.exclude</name>    
    <value>/opt/sohuhadoop/conf/excludes</value>    
    <final>true</final>
</property>

4. 在master上执行如下命令

hadoop dfsadmin -refreshNodes

它会在后台进行Block块的移动从移出的Nodes上移动到其它的Nodes上面

5. 通过以下2种方式查看Decommission的状态:

hadoop dfsadmin -report

http://<ip>:50070/dfsnodelist.jsp

正在执行Decommission,会显示:

Decommission Status : Decommission in progress

执行完毕后,会显示:

Decommission Status : Decommissioned

 

6、移除配置

(1)、从slaves文件中移除节点:
即将被移除的主机名从slaves文件中删除。

 

(2)、从/opt/sohuhadoop/conf/excludes中移除节点名。

 


7、手动停掉tasktracker

由于tasktracker不能自动退役,需要手动kill掉。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值