Hadoop集群环境的搭建

Hadoop集群环境的搭建

（1）安装操作系统以及免密环境

①三台虚拟机构建最小规模集群，三个节点分别是master、slave01、slave02。以master操作为例。
②更改hostname名字为master：

hostnamectl set-hostname master

③修改网络地址：先通过ip addr查看系统的ip地址然后通过ip route确定网关。
④进入vi /etc/sysconfig/network-scripts/ifcfg-ens??，??是根据系统分配的网络适配器（网卡）而定，可以用tab补全文件名。本机是ens33。将文件内容dhcp修改为static。增加如下信息：（??填自己的ip地址）

IPADDR=192.168.??.100
NETMASK=255.255.255.0
GATEWAY=192.168.??.2
DNS1=192.168.??.2

⑤配置包含所有节点名称的hosts作为通信依据：
进入vi /etc/hosts，配置如下信息：

192.168.??.100 master
192.168.??.201 slave01
192.168.??.202 slave02

⑥生成免密所需的公钥：

ssh-keygen -t rsa cd ~/.ssh

⑦创建两个克隆，分别命名为slave01和slave02，操作和上述一样，在创建完公钥后需要通过如下命令传给master节点。（需要root密码）

scp -r /root/.ssh/id_rsa.pub root@master:/root/.ssh/slave01.pub
scp -r /root/.ssh/id_rsa.pub root@master:/root/.ssh/slave02.pub

⑧在master节点上创建公钥链：把三个公钥都放到authorized_keys文件中。

cat id_rsa.pub >> authorized_keys
cat slave01.pub >> authorized_keys
cat slave02.pub >> authorized_keys

⑨最后通过如下命令把authorized_keys文件传回slave01和salve02节点中。

scp -r /root/.ssh/authorized_keys root@slave01:/root/.ssh/
scp -r /root/.ssh/authorized_keys root@slave02:/root/.ssh/ 

⑩在master节点输入ssh slave01可以测试是否配置成功，如图。