Everything should be made as simple as possible, but no simpler

CDH3 Hadoop集群摘除节点

首先要明确一点,整个过程都是在NameNode上进行的


1. 在NN上的mapred-site.xml hdfs-site.xml中分别取配置mapred.hosts, mapred.hosts.exclude,dfs.hosts,dfs.hosts.exclude;没有exclude的配置所指向的文件中先写入所有的TT,DN节点,而有exclude的配置文件中写入要摘除的节点;写法都是一行一个节点(机器名)

2. sudo -u mapred hadoop mradmin -refreshNodes

3. 此时,exclude中配置的机器已经不能连接到jobtracker上了,也就不能执行任务了,但是这个时候仍旧可以连通NN,用来decomission

4. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes,这个时候将开始decomission

5. 等所有的待摘除节点都decomissioned之后,我们从include文件中将这些节点删除掉

6. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes



阅读更多
版权声明:本文为博主原创文章,转载请注明出处,Thanks~ https://blog.csdn.net/cnweike/article/details/7403128
个人分类: Hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

CDH3 Hadoop集群摘除节点

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭