hadoop服役新数据节点、退役旧数据节点

1.服役新数据节点

1）需求
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
2）环境准备
（1）克隆一台从节点
（2）修改ip地址和主机名称（master上面也要添加新节点的ip映射）

（3）删除原来HDFS文件系统留存的文件

[root@slave3 hadoop]# rm -rf  tmp/*

3）服役新节点具体步骤
（1）在namenode的/usr/local/hadoop/etc/hadoop目录下创建dfs.hosts文件

[root@master hadoop]# vim dfs.hosts

(2)添加如下主机名称（包含新服役的节点）
(3)在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
		<name>dfs.hosts</name>
     	<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

(4)刷新namenode

  [root@master hadoop]# hdfs dfsadmin -refreshNodes

(5)更新resourcemanager节点

 [root@master hadoop]# yarn rmadmin -refreshNodes

（6）在namenode的slaves文件中增加新主机名称

（7）单独命令启动新的数据节点和节点管理器

[root@slave3 sbin]# ./hadoop-daemon.sh start datanode
[root@slave3 sbin]# ./yarn-daemon.sh start nodemanager

4)如果数据不均衡，可以用命令实现集群的再平衡

 [root@master sbin]# ./start-balancer.sh

2.退役旧数据节点

1）在namenode的/usr/local/hadoop/etc/hadoop目录下创建dfs.hosts.exclude文件

 [root@master hadoop]# vim dfs.hosts.exclude

添加如下主机名称（要退役的节点）
slave3
2）在namenode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
		<name>dfs.hosts.exclude</name>
      	<value>/usr/local/hadoop/etc/hadoop/dfs.hosts.exclude</value>
</property>

3)停止slave3

 [root@slave3 sbin]# ./hadoop-daemon.sh stop datanode

4）从include文件中删除退役节点，再运行刷新节点的命令
（1）从namenode的dfs.hosts文件中删除退役节点slave3

（2）刷新namenode，刷新resourcemanager

刷新namenode

  [root@master hadoop]# hdfs dfsadmin -refreshNodes

更新resourcemanager节点

 [root@master  hadoop]# yarn rmadmin -refreshNodes

6）从namenode的slave文件中删除退役节点slave3
7）如果数据不均衡，可以用命令实现集群的再平衡

 [root@master  hadoop]# sbin/start-balancer.sh