步骤1.
集群新节点和集群老节点配置ssh互信(具体操作可百度);
步骤2.
集群新节点和集群老节点配置etc/hosts,此步骤非强制,建议配置; 如果不配置etc/hosts,可能会出现错误;
步骤3.
配置新集群的配置文件,主要为以下三个
hdfs-site.xml
core-site.xml
yarn-site.xml
配置和集群其他节点保持一致即可,涉及到hostname和地址的部分建议使用域名的方式;
步骤4.
启动新节点的DataNode:
./hadoop-deamon.sh start datanode
启动新节点的NodeManager:
./yarn-deamon.sh start nodemanager
在NameNode上执行:
hadoop/bin/hdfs refreshNodes
此处可能出现错误:
Datanode denied communication with namenode because hostname cannot be resolved
原因是没有配置hosts,此时可以修改修改NameNode节点的hdfs-site.xml配置文件,添加配置:
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
然后重启namenode
./hadoop-deamon.sh stop namenode
./hadoop-deamon.sh start namenode
完成步骤1-4以后,新节点就已经加入到集群中了