CM搭建Hadoop全分布式

1.1 环境配置

使用XShell软件，创建5个会话窗口，五个服务器的地址分别是：

1.1.1 配置主机名、hosts文件

# 主机名  

 # 配置各节点的主机名 

[root@main-master ~]# vim /etc/sysconfig/network 

#查看

[root@main-master ~]# cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=main-master   

# 配置hosts   

[root@main-master ~]# vim /etc/hosts      

#在配置文件上加各节点IP

# 一定要保留127.0.0.1，否则cm分发会心跳错误  

 127.0.0.1    localhost      

1.1.2 配置各节点之间的ssh免密玥

# 在各个节点生成自己的公钥和私钥

[root@main-master ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

[root@data1 packages]# cd ~

# 将自己的公钥分发给其他节点，包括自己分发给自己

首先在main-master节点上

[root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub main-master

[root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub back-master

[root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub datanode1

[root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub datanode2

[root@main-master ~]# ssh-copy-id -i .ssh/id_rsa.pub datanode3

然后依次在每个节点执行上述命令

1.1.3 安装jdk环境

# 安装jdk环境    

# rpm 安装   

[root@main-master soft]# rpm -i jdk-8u221-linux-x64_2.rpm 

 # 环境变量配置    

vim /etc/profile      

 # 在配置文件里增加

 export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64  

 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar    

 PATH=$PATH:$JAVA_HOME/bin

# 使环境变量生效  

 . /etc/profile

1.1.4 关闭防火墙

 #需要注意的是，每次节点挂掉重启后，都需要关闭防火墙

[root@main-master ~]# service iptables stop 

#检查是否已经关闭

 [root@hadoop1 ~]# chkconfig iptables off

1.1.5 SELINUX关闭

[root@main-master ~]# setenforce 0

# SELINUX=disabled

 [root@main-master ~]# vi /etc/selinux/config

1.1.6 配置内网ntp服务器

# 选定一台节点当ntp主服务器，其他节点同步本节点时间

 # 修改ntp主服务器配置如下：

[roo