hadoop集群添加新的datanode节点

 

hadoop集群节点不够用了，添加新的datanode方法,假设之前已经有1个namenode和3个datanode，分别是master、slave1、slave2，slave3

本文是自己做hadoop集群中时候自己遇到的配置方法，用自己的话记录下来，肯定有很多不足之处，还望大家多多包含指正！

1、克隆虚拟机 。从之前安装的装有hadoop和jdk的干净的虚拟机克隆一份出来，命名为slave4 ，修改hostname为slave4，修改ip保证和集群的虚拟机在同一个网段，还有/etc/hosts文件，这个文件是配置主机名和ip映射

2、彻底关闭防火墙,具体方法百度

3、实现虚拟机之间ssh免密连接。在slave4上使用 ssh-keygen  指令 获得公钥和私钥，将公钥添加到master的authorized_keys中，然后将authorized_keys复制到slave1、slave2、slave3、slave4。还需要更新known_hosts。这一步不会做的话，可以移步到这篇文章https://blog.csdn.net/qq_42149844/article/details/108754197，这里就不赘述

4、把集群信息复制到新添加的节点（这一步尤其重要）。将master上的/usr/local/hadoop/etc/hadoop 这个目录下的所有文件复制到slave4的/usr/local/hadoop/etc/hadoop下面，使用scp 指令。注意：这里的地址大家要灵活一