HDFS新增节点与删除节点

一、准备新的节点
第一步：复制一台新的虚拟机出来
第二步：修改mac地址以及IP地址
第三步：关闭防火墙，关闭selinux
第四步：更改主机名
第五步：四台机器更改主机名与IP地址映射
第六步：node04服务器关机重启并生成公钥与私钥
第七步：node04安装jdk
第八步：解压Hadoop安装包
第九步：将node01关于Hadoop的配置文件全部拷贝到node04

二、服役新的节点
第一步：创建dfs.hosts文件
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts
vim dfs.hosts
添加如下主机名称：

第二步：node01编辑hdfs-site.xml添加以下配置
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml
内容如下：

dfs.hosts
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts

第三步：刷新namenode
node01执行以下命令刷新namenode
hdfs dfsadmin -refreshNodes
第四步：更新resourceManager节点
node01执行以下命令刷新resourceManager
yarn rmadmin -refreshNodes

第五步：namenode的slaves文件增加新服务节点主机名称
node01编辑slaves文件，并添加新增节点的主机，更改完后，slaves文件不需要分发到其他机器
上面去
node01执行以下命令编辑slaves文件
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves

第六步：单独启动新增节点
node04服务器执行以下命令，启动datanode和nodemanager
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

第七步：浏览器查看

第八步：使用负载均衡命令，让数据均匀负载所有机器
node01执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

三、退役旧数据节点
第一步：创建dfs.hosts.exclude配置文件
在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建
dfs.hosts.exclude文件，并添加需要退役的主机名称
node01执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude
![](https://img-blog.csdnimg.cn/20191106200530706.png

第二步：编辑namenode所在机器的hdfs-site.xml
编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置
node01执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
配置如下：

dfs.hosts.exclude
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude

第三步：刷新namenode，刷新resourceManager
在namenode所在的机器执行以下命令，刷新namenode，刷新resourceManager
hdfs dfsadmin -refreshNodes

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

第四步：查看web浏览界面

第五步：节点退役完成，停止该节点进程
node01执行以下命令，停止该节点进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

第六步：从include文件中删除退役节点
namenode所在节点也就是node01执行以下命令删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts

namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

第七步：从namenode的slave文件中删除退役节点
namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

第八步：如果数据负载不均衡，执行以下命令进行均衡负载
node01执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh