Hadoop集群搭建(集群主机间免密登录配置)
实验目的及要求:
静态网络地址配置;
主机名的配置;
防火墙的配置,使平台相关软件的常用端口能够远程正常访问;
主机地址映射的配置,使所有主机能够通过主机名相互正常访问;
免密码登录的配置,使所有主节点能够免密码登录集群中所有其他节点,多个主节点之间能够相互免密码登录到对方,同事主节点能够免密码登录自身;
实验环境:
VMware Workstations 14虚拟机;
Linux CentOS 7操作系统五台;
实验内容:
1、网络环境配置五台主机分别配置静态IP地址为
cluster-01 192.168.10.111
cluster-02 192.168.10.112
cluster-03 192.168.10.113
cluster-04 192.168.10.114
cluster-05 192.168.10.115
#cd /etc/syscofig/network-scripts
#vim ifcfg-ens33
IPADDR=192.168.10.xxx //设置IP地址(添加)
NETMASK=255.255.255.0 //设置子网掩码(添加)
GATEWAY=192.168.19.1 //设置网关(添加)
BOOTPROTO=static //启用静态IP地址(修改)
ONBOOT=yes //开启自启用网络连接(修改)
(esc,:wq) //保存退出
2、各主机间互拼验证(使用cluster-01分别拼其他四台主机的IP地址)
3、防火墙配置
关闭防火墙
命令:#systemctl stop firewalld.service //关闭防火墙
#systemctl disable firewalld.service //禁止防火墙服务的开机自动启动
#systemctl status firewalld.service //验证是否关闭
3.1、cluster-01 192.168.10.111
3.2、cluster-02 192.168.10.112
3.3、cluster-03 192.168.10.113
3.4、cluster-04 192.168.10.114
3.5、cluster-05 192.168.10.115
4、主机地址映射
命令:#cd /etc/
#vim hosts
进入vim编辑器在末尾添加剂群中所有主机的IP地址与主机名的映射关系
192.168.10.111 Cluster-01
192.168.10.112 Cluster-02
192.168.10.113 Cluster-03
192.168.10.114 Cluster-04
192.168.10.115 Cluster-05
将配置文件“hosts”发送给集群中所有的主机,发送目标用户为“root”用户,发送目标路径为“/etc”,
命令:
#scp -r /etc/hosts root@192.168.10.112:/etc
#scp -r /etc/hosts root@192.168.10.113:/etc
#scp -r /etc/hosts root@192.168.10.114:/etc
#scp -r /etc/hosts root@192.168.10.115:/etc
4.1、在Cluster-02主机中查看“hosts”文件是否发送过来
4.2、在Cluster-03主机中查看“hosts”文件是否发送过来
4.3、在Cluster-04主机中查看“hosts”文件是否发送过来
4.4、在Cluster-05主机中查看“hosts”文件是否发送过来
每台集群主机中用户创建及免密码登录配置
第一步:新建一个集群统一用户admin,并创建密码admin。
命令:
#useradd admin //创建新用户admin
#passwd amdin //给用户admin设置密码
第二步:免密码登录设置。
命令:$ssh-keygen -t rsa //生成本机系统当前登录用户的公钥和私钥文件
$l. //显示~目录下隐藏的文件
$cd .ssh //进入.ssh目录
$ls //显示目标列表,这里可以看到id_rsa.pub公钥文件
$ssh-copy-id -i ~/.ssh/id_rsa.pub admin@Cluster-02
//将公钥文件拷贝给需要进行免密码登录的目标主机和目标用户,包括本机
把本机的公钥追到目标主机的.ssh/authorized keys里
第三步:验证免密码登录
命令:#ssh admin@Cluster-02
#ssh admin@Cluster-03
#ssh admin@Cluster-04
#ssh admin@Cluster-05
//如果没有提示让你输入Cluster-02的admin用户的密码,则说明配置正确
注意:
1、在创建公钥和私钥时,每个节点都要进行创建。
2、在发送公钥和私钥时,每个节点都要执行发送命令,也就是说每个节点要发送五次(包含自身节点)。