hadoop移除节点

step 1:使用hdfs-site.xml的配置项,排除节点

<property>
    <name>dfs.hosts.exclude</name>
    <value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>

step 2: 在excludes文件中添加要排除的节点主机名,一行一个

step 3: 刷新datanode

hdfs dfsadmin -refreshNodes
在Hadoop Web站点上很快就能看到Decommission正在进行,此时NameNode会检查并将数据复制到其它节点上以恢复副本数(要移除的节点上的数据不会被删除,如果数据比较敏感,要手动删除它们)。通过命令也可以查看状态。
hdfs dfsadmin -report

step 4: 等状态变成Decommissioned后就可以关闭这个节点了,在要移除的节点上运行相应的关闭命令

hadoop-daemon.sh stop datanode
几分钟后,通过Web查看节点将从Decommissioned进入Dead状态

在这里插入图片描述

step 5: step 4:从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要删除Hadoop集群中的节点,可以按照以下步骤进行操作: 1. 首先,将要删除的节点的状态设置为Decommissioned。可以在要移除节点上运行相应的关闭命令,如:`./hadoop-daemon.sh stop datanode`。几分钟后,节点将从Decommissioned进入Dead状态。\[1\] 2. 在master节点的excludes文件中删除相应节点的IP地址。 3. 在slave节点上重启datanodenodemanager进程,可以使用以下命令: ``` hadoop-daemon.sh start datanode yarn-damon.sh start nodemanager ``` 4. 在master节点上刷新节点配置情况,可以使用以下命令: ``` hadoop dfsadmin -refreshNodes ``` 请注意,以上步骤适用于Hadoop 1.x版本。对于不同版本的Hadoop,配置文件和命令可能会有所不同。具体的配置文件和命令可以参考相关版本的Hadoop官方文档的cluster setup部分。\[3\] #### 引用[.reference_title] - *1* *2* [HADOOP添加与删除节点](https://blog.csdn.net/renzhewudi77/article/details/94595039)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hadoop动态添加/删除节点(datanode和tacktracker)](https://blog.csdn.net/yanxiangtianji/article/details/27694727)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅抒流年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值