hadoop_hdfs 新增节点（服务器）与 删除节点（退役服务器）超详细

需求基础

• 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

准备新节点

这里的新节点为node04

• 第一步：复制虚拟机 或者 新建一个虚拟机
  Linux复制虚拟机及网卡的配置
• 第二步：关闭防火墙，关闭selinux

关闭防火墙：
service iptables stop
关闭selinux：（需要重启才能生效，我们稍后重启）
vim /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

• 第三步：更改主机名

vim /etc/sysconfig/network

• 第四步：主机名与IP地址映射

所有datanode和namenode都要添加hosts文件:
vim /etc/hosts

• 第五步：node04服务器关机重启并实现namenode到node04节点无密码访问
  node04服务器生成公钥与私钥

node04执行以下命令关机重启：
reboot 

node04执行以下命令生成公钥与私钥：
ssh-keygen -t  rsa

node04执行以下命令将node04的私钥拷贝到node01服务器：
ssh-copy-id  node01

node01执行以下命令，将authorized_keys拷贝给node04：
cd /root/.ssh/
scp authorized_keys  node04:$PWD

• 第六步：node04安装jdk
  Linux下JDK1.8安装部署
• 第七步：Hadoop

namenode执行以下命令将Hadoop拷贝到node04服务器：
scp -r namenode下的hadoop node04:/export/servers/

• 第八步：将namenode关于Hadoop的profile文件拷贝到node04

namenode执行以下命令，将namenode关于Hadoop的hadoop.sh文件拷贝到node04：
scp  /etc/profile.d/hadoop.sh node04:/etc/profile.d/

node04下执行使配置生效：
source  /etc/profile

删除node04下hadoopDatas下的文件：
rm -rf /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/*

服役新节点

• 第一步：创建dfs.hosts文件

在namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts
vim dfs.hosts

• 第二步：namenode编辑hdfs-site.xml

在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性：

namenode执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

hdfs-site.xml配置文件中增加dfs.hosts属性：
<property>
<name>dfs.hosts</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

• 第三步：刷新namenode

namenode执行以下命令刷新namenode：
hdfs dfsadmin -refreshNodes

• 第四步：更新resourceManager节点

namenode执行以下命令刷新resourceManager：
yarn rmadmin -refreshNodes

• 第五步：namenode的slaves文件增加新服务节点主机名称

namenode编辑slaves文件，并添加新增节点的主机，更改完后，slaves文件不需要分发到其他机器上面去
namenode执行以下命令编辑slaves文件：
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves

• 第六步：单独启动新增节点

node04服务器执行以下命令，启动datanode和nodemanager：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

• 第七步：浏览器查看

http://namenodeIP:50070

• 第八步：使用负载均衡命令，让数据均匀负载所有机器

namenode执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

退役旧数据节点 （删除节点）

• 第一步：创建dfs.hosts.exclude配置文件

在namenode的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称：
namenode执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude

• 第二步：编辑namenode所在机器的hdfs-site.xml

编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置

namenode执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<property>
<name>dfs.hosts.exclude</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

• 第三步：刷新namenode，刷新resourceManager

在namenode所在的机器执行以下命令，刷新namenode，刷新resourceManager： 
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

• 第四步：查看web浏览界面

http://namenodeIP:50070

• 第五步：节点退役完成，停止该节点进程

等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。·

node04执行以下命令，停止该节点进程：
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

• 第六步：从include文件中删除退役节点

namenode所在节点也就是node01执行以下命令删除退役节点：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts
namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager：
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

• 第七步：从namenode的slave文件中删除退役节点

namenode下从slaves文件中删除退役节点：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

• 第八步：如果数据负载不均衡，执行以下命令进行均衡负载

namenode执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh