Hadoop 集群搭建一 集群免密登录

Hadoop 集群搭建一 集群免密登录

一、虚拟机安装

按照以上配置创建五台虚拟机，cluster-01、cluster-02、cluster-03、cluster-04、cluster-05。

在虚拟机安装过程中将系统时间设为亚洲上海。
若没有配置系统时间则可以在安装完成后用代码改变系统时间：
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime -R
更改时间后用 date 验证即可

二、静态网络配置
分别在五台虚拟机中配置静态网络
#cd /etc/sysconfig/network-scripts/
在ifcfg文件中改bootproto=”static” 添加ip
#vi ifcfg-ens33

同样在cluster-02、cluster-03虚拟机中也配置静态ip

最终将五台ip地址配置成为

• 192.168.10.111 cluster-01
• 192.168.10.112 cluster-02
• 192.168.10.113 cluster-03
• 192.168.10.114 cluster-04
• 192.168.10.115 cluster-05

静态网络配置后重启网络服务
#systemctl network restart
#ifconfig

重启网络后进行网络验证：
若网络正常则应该是五台虚拟机正常通信且访问外网正常

若不能访问外网则先ping网关检查网关是否正常，若网关异常
#cd /etc
#vi resolv.conf
在resolv.conf文件中添加如下几行：

添加后网关正常
三、主机名配置
从第一台虚拟机开始在hostname文件中修改主机名，将原有一行删除添加下列这行：
#cd /etc
#vi hostname

对应第二个虚拟机修改为

剩下三台虚机对应改为cluster-03、cluster-04、cluster-05
修改主机名后必须重启虚拟机（reboot）
四、防火墙设置
分别在五台虚拟机上对防火墙进行设置：
#systemctl stop firewalld.service
#systemctl disable firewalld.service
查看防火墙状态
#systemctl status firewalld.service

五、主机映射关系配置
在cluster-01的hosts文件中添加主机映射关系：
#cd /etc
vi hosts

• 192.168.10.111 cluster-01
• 192.168.10.112 cluster-02
• 192.168.10.113 cluster-03
• 192.168.10.114 cluster-04
• 192.168.10.115 cluster-05
  
  添加完成后利用ssh将hosts文件分别复制到其他四台主机中
  若ssh不能传文件则需要在其他四台虚机中分别添加以上映射关系

六、免密登录配置
完成免密码登录配置，使所有主节点能够免密码登录集群中所有其他节点，多个主节点之间能够相互免密码登录到对方，同时主节点能够免密码登录自身。

首先在五台虚拟机中都创建admin用户并设置admin密码
#useradd admin
#passwd admin

其次对五台虚拟机都进行如下操作：

生成本机系统当前登录用户的公钥和私钥文件
#ssh-keygen -t rsa
查看列表中生成的公钥文件id_rsa.pub
#l.
#cd .ssh
#ls

#ssh-copy-id -i ~/.ssh/id_rsa.pub admin@cluster-01
#ssh-copy-id -i ~/.ssh/id_rsa.pub admin@cluster-02
将公钥文件拷贝给其他四台虚机、包括本机

验证：
#ssh admin@cluster-02 (exit退出)


遇到的问题：
（1）在配置好静态网络后，虚拟机不能和网关进行正常通信。解决方案：在etc文件中打开reslov.conf里面添加本地回环地址（nameserver 127.0.0.1）
（2）在网络访问外网正常通信正常情况下，不能通过ssh传输hosts文件。解决方案：关闭防火墙。
（3）在cluster-05配置过程中未添加主机间映射关系就开始进行免密登录配置导致访问不到主机cluster-01。解决方案：先在etc文件中修改hosts文件添加主机映射关系。
（4）在安装虚拟机时未设置亚洲时间。解决方案：用命令（cp /etc/share/zoneinfo/Asia/Shanghai /etc/localtime -R）修改系统时间，修改后用date验证。