hadoop2.3.7新加结点相关问题汇总

现有Hadoop集群新加结点流程及问题汇总

一、引言

说明：本文是在hadoop集群基本部署完成后，后续新加结点过程中的总结。

此时，集群所含机器已配置完成一定文件（即master1,master2,slave等多个结点中已部署好一定配置信息，如jdk，hadoop，ssh等信息），具体配置流程可参见hadoop集群配置方法。

tips：

1. master1上配置好的hadoop所在文件夹/home/hadoop2.7，已经复制到master2和所有的slave机器的/home目录下；
2. 已在/usr/java目录下安装java，且已配好环境变量；
3. 所有机器已完成从master1结点发起的ssh无密码登录配置；
4. 已配置好hadoop环境，包括但不限于core-site.xml,hdfs-site.xml,marped-site.xml,yarn-site.xml等配置文件；

 

本文总体分为两个部分：

1. 新加流程

主要从新加结点的每个流程展开叙述，完成在成熟的hadoop2.3集群中新加一个salve结点22的整个步骤，包括每一步的内容以及相关截图。主要叙述重点部分，提出所需的相关命令，具体的细节使用需要提前掌握；

   2. 问题分析

主要从新加结点中遇到的各种问题展开，列出来遇到的错误和实际解决时采用的方法以及部分参考资料。

 

二、新加结点流程（slave22）

1. 修改hosts文件

a.master1结点上，在/etc/hosts目录文件中，插入需要新加的结点的ip信息，如：192.168.1.111 slave22

 

更改前的hosts

 

 

更改后的hosts

 

 

b.将其他所有结点的hosts文件（相同目录位置下）更改为相同的信息，此处使用scp命令可以从master1结点上将相关文件远程传递到对应的结点上，不需要每次都登录到相应结点手动修改。

 

c.打开需要新加的slave22结点的主机，设置网络参数，将ipv4地址修改为192.168.1.111，修改DNS和网关信息，具体可实际查询集群中结点的配置，保持相同即可。

 

2.修改/home/hadoop2.7/etc/hadoop中的slaves文件

a.修改master1结点上的slaves文件信息

b.利用scp命令将其余所有结点的slaves更改