HDFS新增节点与删除节点

目标：掌握HDFS新添加节点到集群的步骤

1.服役新节点

1.准备新节点

第一步：复制一台纯净的虚拟机出来
注：纯净的虚拟机不能安装过hadoop软件，只配置过ip和JDK

第二步：修改mac地址及其IP地址

修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules

修改ip地址命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步：关闭防火墙

关闭防火墙
service iptables stop

关闭selinux
vim /etc/selinux/config

第四步：更改主机名

更改主机名命令
vim /etc/sysconfig/network

第五步：四台机器更改主机名与IP地址映射

四台机器都要添加hosts文件
vim /etc/hosts

添加内容：
192.168.52.100 node01
192.168.52.110 node02
192.168.52.120 node03
192.168.52.130 node04

第六步：node04服务器关机重启并生成公钥与私钥

node04执行以下命令关机重启
reboot

node04执行以下命令生成公钥与私钥
ssh-keygen -t  rsa

node04执行以下命令将node04的私钥拷贝到node01服务器
ssh-copy-id  node01

node01执行以下命令，将authorized_keys拷贝给node04
cd /root/.ssh/
scp authorized_keys  node04:$PWD

第七步：node04安装jdk

node04统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/

然后解压jdk安装包，配置环境变量,或将集群中的java安装目录拷贝一份，并配置环境变量。

第八步：解压Hadoop安装包

在node04服务器上面解压Hadoop安装包到/export/servers
node01执行以下命令将Hadoop安装包拷贝到node04服务器
cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD

第九步：将node01关于Hadoop的配置文件全部拷贝到node04

node01执行以下命令，将Hadoop的配置文件全部拷贝到node04服务器上面

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD

2.服役新节点具体步骤

第一步：创建dfs.hosts文件

在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts
vim dfs.hosts

添加所有可用的主机名称：
node01
node02
node03
node04

第二步：node01编辑hdfs-site.xml添加以下配置

node01执行以下命令
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml

<property>
     <name>dfs.hosts</name>
     <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

第三步：刷新namenode和resourceManager

node01执行以下命令刷新namenode
hdfs dfsadmin -refreshNodes

node01执行以下命令刷新resourceManager
yarn rmadmin -refreshNodes

第四步：单独启动新增节点

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

第五步：namenode的slaves文件增加新服务节点主机名称

node01执行以下命令编辑slaves文件
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves

添加所有可用的主机名称：
node01
node02
node03
node04

第六步：浏览器查看
http://node01:50070/dfshealth.html#tab-overview

第七步：使用负载均衡命令，让数据均匀负载所有机器

node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

2.退役旧数据节点

目标掌握HDFS在集群中删除掉无效节点的步骤

第一步：创建dfs.hosts.exclude配置文件

在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude

添加需要删除节点的主机名：
node04

注：该文件是HDFS文件系统的节点黑名单，添加进去的主机都会被禁用

第二步：编辑namenode所在机器的hdfs-site.xml

编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置
node01执行以下命令：
<property>
   <name>dfs.hosts.exclude</name>
   <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

第三步：刷新namenode，刷新resourceManager

在namenode所在的机器执行以下命令，刷新namenode，刷新resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

第四步：查看web浏览界面

浏览器访问
http://node01:50070/dfshealth.html#tab-datanode

第五步：从include(白名单)文件中删除退役节点

从include文件中删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts

删除node04：
node01
node02
node03

第六步：从namenode的slaves文件中删除退役的节点

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

删除node04：
node01
node02
node03

第七步：负载均衡

node01执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

第八步：节点退役完成，停止该节点进程
等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。

node01执行以下命令，停止该节点进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

注：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。