Hadoop集群_退役旧数据节点（添加白名单黑名单）

概述
上一节《Hadoop集群_服役新数据节点》在集群中随便就可以添加一个节点上去，有些危险。这里我们给集群添加白名单以及黑名单

添加白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。本次操作都在hadoop191节点上执行。

配置白名单的具体步骤如下：

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件。我这里是hadoop191节点。

-- 添加如下主机名称（不添加hadoop194）
-- 下面的节点就是白名单的节点，不在里面的没法添加到集群中
hadoop191
hadoop192
hadoop193

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性。我这里是hadoop191节点。

cd /opt/module/hadoop-2.7.2/etc/hadoop
vim hdfs-site.xml

-- 添加以下内容
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3. 配置文件分发

xsync hdfs-site.xml

4. 刷新NameNode

-- 在本目录下刷新即可
hdfs dfsadmin -refreshNodes

出现下图说明刷新成功

5. 更新ResourceManager节点

-- 在本目录下刷新即可
yarn rmadmin -refreshNodes

6. 在web浏览器上查看，发现hadoop194不见了，说明白名单配置成功。

黑名单退役

- 在黑名单上面的主机都会被强制退出。
- 黑名单和白名单中的名字不能重复

准备工作

• 配制黑名单的时候，我们重新把hadoop194节点添加到了集群中，为的是测试黑名单配置。
• 我们上面配置了白名单，所以hadoop194就没法被集群识别了，这里只需要将第2步中的 vim hdfs-site.xml 配置文件中相关配置删掉，刷新一下就可以了。

-- 删除配置文件中的相关信息
vim hdfs-site.xml

-- 删除掉之后刷新NameNode
hdfs dfsadmin -refreshNodes

刷新之后集群中就会出现hadoop194，证明hadoop194不再是非法的了，但是我们这里的hadoop194没有启动。

• 启动hadoop194节点，将hadoop194添加到集群中。

-- 启动hadoop194节点的hadoop
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

配置黑名单

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件。我们的NameNode在hadoop191节点上。

-- 191节点上
cd /opt/module/hadoop-2.7.2/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude

-- 想退役谁，就把谁添加进去，我们退役194节点
-- 不要有多余的空格，空行
hadoop194

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

vim hdfs-site.xml

<property>
<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3. 分发配置文件

-- 在本目录下操作即可
xsync hdfs-site.xml 

4. 191节点刷新NameNode、刷新ResourceManager

hdfs dfsadmin -refreshNodes

• 这里显示正在退役，为什么是正在退役呢，以为他要将hadoop194节点上的数据重新保存到可用节点上。保存完之后，就会强制退出该节点。

• 退出后的样子如下图

• 数据已经备份好了如下图

• 191节点刷新一下yarn就可以了

 yarn rmadmin -refreshNodes

5. 等待退役节点状态为decommissioned，停止该节点及节点资源管理器。

-- 停止194
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

• 到这里194节点已经失去连接了，下一次启动集群就不会出现194节点了

这里43的意思是距离上一次的链接时间，刷新一次就会增长一次，说明已经失去连接了。

6. 如果数据不均衡，可以用命令实现集群的再平衡

sbin/start-balancer.sh 

注意：不允许白名单和黑名单中同时出现同一个主机名称。