有时候因为做临时调整可能需要删除hadoop集群中的DataNode,具体方法如下:
首先在/etc/hadoop/conf/dfs.exclude 中添加要删除节点的机器名
在控制台页面中看见显示了一个Dead Datanodes
[hdfs@hmc ~]$ hadoop dfsadmin -refreshNodes
查看hdfs的使用报告:[hdfs@hmc ~]$ hadoop dfsadmin -report 红色字体状态表示节点退出
Name: 192.168.100.210:50010
Decommission Status : Decommissioned
Configured Capacity: 0 (0 KB)
DFS Used: 0 (0 KB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 0(0 KB)
DFS Used%: 100%
DFS Remaining%: 0%
Last contact: Thu Jan 01 07:00:00 CST 1970
登陆http://192.168.100.200:50030/jobtracker.jsp 查看节点还是有11个
这个时候节点的TaskTracker 还在运行,需要手动停止。
然后过一会儿在查看控制台页面已经消失掉一个DataNode节点
恢复的过程应该是相反的。先将/etc/hadoop/conf/dfs.exclude 清空
然后启动TasktTacker和DataNode进程
TaskTracker
DataNode
查看一下HDFS使用报告