一、环境说明
Hadoop-3.1.3 完全分布式:详细图文配置(可参考之前文章 【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模式)
集群各结点的进程安排情况如下,现在欲添加的新结点主机名为 hadoop105。
hadoop102 | hadoop103 | hadoop104 | |
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
二、集群节点的添加
1、拷贝虚拟机:现有客户机 hadoop102、hadoop103、hadoop104,欲添加一结点,使其名为 hadoop105(拷贝自 hadoop104);
(说明:之前已考虑到了扩充性问题,因此已预先在所有客户机中添加了IP与主机名的映射)
2、删除原有hadoop104中的文件:当前,hadoop105事先要先清空掉 ~/.ssh 目录下的文件,因为它自己拷贝自hadoop104,还存着hadoop104的免密及公私钥配置,所以要删掉;另外,还要删除hadoop目录下的data和logs目录,并重新格式化namenode,因为里面也是存着拷贝源hadoop104的文件。
3、修改主机名与IP:
4、重启:reboot
5、配置SSH:
(1) 在hadoop102中:将自己的公钥给hadoop105,另外,hadoop103、hadoo104也是同理;
(2) 在hadoop105中生成自己的公私钥,并将自己的公钥发给集群中的其他客户机
6、在workers目录中添加新的hadoop105结点的主机名:
7、启动hadoop105的DataNode进程和NodeManager进程:
8、在主节点进行刷新:
9、查看节点状态:
三、集群结点的删除
1、自定义一个结点列表文件:来到hadoop/etc/hadoop目录下
2、配置hadoop/etc/hdfs-site.xml:指定刚才创建的文件:
3、再次重启hadoop105的datanode、nodemanager进程,与hadoop集群,查看当前集群中的hadoop105的状态是 Decommissioned,已成功使其退役。