环境准备
增加一台虚拟机
修改ip地址和主机名称
在namenode的机器目录上创建dfs.hosts文件
添加主机名称包括(新加入的节点)
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>自己创建的dfs.hosts的路径</value>
</property>
刷新namenode,rosourcemanager
[root@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[root@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
Connecting to ResourceManager at hadoop102/192.168.126.137:8033
单独启动新的数据节点和节点管理器
[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[root@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
hadoop105成功加入进来
退役旧节点
在namenode的hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
添加如下主机名称(要退役的节点)
hadoop105
在namenode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
刷新namenode、刷新resourcemanager
[root@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[root@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
Connecting to ResourceManager at hadoop102/192.168.126.137:8033
检查web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点。
等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。
[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode