Hadoop系列十之HDFS节点的服役和退役

1.服役新数据节点
随着公司业务的增长，数据量越来越大，由于数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
1.1 环境准备
（1）在hadoop103主机上再克隆一台hadoop104主机
（2）修改IP地址和主机名称
（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log）
（4）source一下配置文件

[JL@hadoop104 hadoop-3.1.3]$ source /etc/profile

1.2 服役新节点操作
（1）直接启动DataNode，即可关联到集群

[JL@hadoop104 hadoop-3.1.3]$ hdfs --daemon start datanode
[JL@hadoop104 hadoop-3.1.3]$yarn -–daemon start nodemanager

（2）如果数据不均衡，可以使用命令来实现集群的再平衡

[JL@hadoop101 hadoop-3.1.3]$ sbin/start-balancer.sh

2.退役旧数据节点
2.1 添加白名单和黑名单
添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被直接退出。
添加到黑名单的主机节点，不允许访问NameNode，会在数据迁移后退出。
实际情况下，白名单用于确定允许访问NameNode的DataNode节点，内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役DataNode节点。
配置白名单和黑名单的具体步骤如下：
（1）在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件

[JL@hadoop101 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[JL@hadoop101 hadoop]$ touch whitelist
[JL@hadoop101 hadoop]$ touch blacklist

在whitelist中添加如下主机名称,假如集群正常工作的节点为101 102 103 104

hadoop101
hadoop102
hadoop103
hadoop104

黑名单暂时为空。
（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts 和 dfs.hosts.exclude配置

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

（3）配置文件分发

[JL@hadoop101 hadoop]$ xsync hdfs-site.xml

（4）重新启动集群

[JL@hadoop101 hadoop-3.1.3]$ stop-dfs.sh
[JL@hadoop101 hadoop-3.1.3]$ start-dfs.sh

注意: 因为workers中没有配置104,需要单独在104启动DN
（5）在web端查看目前正常工作的DN节点
2.2 黑名单退役
（1）准备使用黑名单退役104
编辑blacklist文件，添加104

[JL@hadoop101 hadoop] vim blacklist
hadoop104

（2）刷新NameNode

[JL@hadoop101 hadoop] hdfs dfsadmin -refreshNodes

（3）在web端查看DN状态，104 正在退役中…进行数据的迁移
（4）如果104也启动的NodeManager，也可以刷新yarn状态。【可选查看】

[JL@hadoop101 hadoop-3.1.3]$ yarn rmadmin -refreshNodes

2.3 白名单退役
白名单退役会直接将节点抛弃，没有迁移数据的过程，会造成数据丢失。
（1）删除blacklist中的内容，恢复101、102、103、104正常工作
（2）修改whitelist，将104删除，保留101、102和103

[JL@hadoop101 hadoop]$ vim whitelist
hadoop101
hadoop102
hadoop103

（3）刷新NameNode

[JL@hadoop101 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes

（4）web端查看，发现104节点直接从集群列表中丢弃