Hadoop完全分布式搭建 - 第二章 CentOS集群安装配置

CentOS7.6.1080
一些其他博主的参考+原创

一、准备工作

将安装好的CentOS7克隆多两台出来
关闭防火墙：
systemctl stop firewalld.service
　禁用防火墙：systemctl disable firewalld.service
　查看防火墙状态 firewall-cmd --state
　重启 reboot

二、实现三台机器ssh免密登录

前提：确保三台机的名称与IP

1.修改IP(设置为手动分配)

1.1修改方法

文档路径：
cd /etc/sysconfig/network-scripts/
里面有个ifcfg-ens33，然后：
vim ifcfg-ens33直接修改 ifcfg-en33 里的配置
下图是修改后的
GATEWAY是网关地址
注意：网关地址和ip地址的第三段要相同

IPADDR：自己定义的IP

NETMASK：子网掩码(可在VMware的 编辑>>虚拟网络编辑器中查看)

GATEWAY：网关(同样在 编辑>>虚拟网络编辑器中查看)

1.2查看修改后的IP

命令行输入 ifconfig 查看IP地址，检查是否正确。

2.修改账户名称(3台虚拟机分别为Hadoop01、02、03)

2.1检查名称：

账户登录后使用hostname查看虚拟机名称：

将其修改为我们自己设定的名称，然后再查看名称：

同时也可以进入配置文件进行名称修改：
vim /etc/hostname

修改完后，命令行输入 reboot 重启虚拟机

3.修改hosts文件

3.1 3台虚拟机的hosts的文件都要修改，做映射(只需添加)

修改方法：命令行输入 vim /etc/hosts

3.2 修改完后看看3台虚拟机是否都能互相ping通

4.ssh免密钥登录(这步比较容易出问题)

4.1 安装ssh客户端服务端

按第一章的安装方法就已经装好了ssh
(检查ssh是否安装，输入命令：rpm -qa | grep ssh)
如果没有，安装如下图

查看ssh状态：systemctl status sshd.service，下图为正常

启动ssh：systemctl start sshd.service
停止ssh：systemctl stop sshd.service
重启ssh：systemctl stop sshd.service
设置开机启动：chkconfig sshd on

4.2 生成密钥和公钥

命令行输入：ssh-keygen -t rsa
然后敲击回车便可

root账户会将密钥文件保存到 /root/.ssh/ 目录里，查看的话可以使用命令：ls /root/.ssh/
目录里要有 id_rsa 和 id_rsa.pub 两个文件，其他两台虚拟机使用一样的方法

4.3 在3台虚拟机上 touch authorized_keys (创建文件)

3台虚拟机都要将每台虚拟机的 /root/.ssh/ 目录下的 id_rsa.pub 文件的内容都存在一个 authorized_keys 文件里
(也就是将3台虚拟机的密钥每台都整合出一个 authorized_keys 文件)

可以使用 FlashFXP 工具或者使用命令：
虚拟机间文件传输：scp /root/.ssh/id_rsa.pub 账户名@IP：放置路径(自定义)
将文件写入 authorized_keys 文件里：cat id_rsa.pub >> authorized_keys

注意：每台虚拟机的 authorized_keys 文件里都要有每台虚拟机的密钥

5.进行免密登录测试

命令行输入：ssh hadoop01、02、03