集群搭建必看！初期准备工作！

注：全文红色部分为待添加文件内容

 绿色部分为格外注意的地方

 //加粗部分为注释，复制命令时请不要一起复制

 

 

集群规划：

四台主机（host01, host02, host03, host04）

IP	主机名	软件	进程
192.168.10.101	host01	jdk、hadoop、spark	NameNode、DFSZKFailoverController、ResourceManager
192.168.10.102	host02	jdk、hadoop、zookeeper	NameNode、DFSZKFailoverController、DataNodeode、NodeManager、JournalNode、QuorumPeerMain
192.168.10.103	host03	jdk、hadoop、zookeeper	DataNodeode、NodeManager、JournalNode、QuorumPeerMain
192.168.10.104	host04	jdk、hadoop、zookeeper	DataNodeode、NodeManager、JournalNode、QuorumPeerMain

 

配置CentOS（普通用户）：

1）关闭防火墙（简单）或者设置出入站规则

$ sudo systemctl stop firewalld.service

$ sudo systemctl disable firewalld.service

如果未开启iptables则不需要下面两步

$ sudo systemctl stop iptables.service

$ sudo systemctl disable iptables.service

 

出现如上效果图则表示成功。

2）按照集群规划修改IP地址和主机名以及主机名映射关系

$ sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 (ifcfg-网卡名，可以用ifconfig命令查看网卡名)

 

BOOTPROTO="static"

ONBOOT="yes"

IPADDR=192.168.10.10 (自定义)

NETMASK=255.255.255.0

GATEWAY=192.168.10.1 (可选)

 

 

 

 

$ sudo hostnamectl set-hostname host01 //修改主机名，按照集群规划设置

 

$ sudo echo 192.168.10.10   host01  >>  /etc/hosts //将规则添加到映射表

如果是集群需要将所有节点的IP主机名映射关系添加进去，一条映射占一行，所有节点都需要配置，可以在一台配置完后复制到其他节点

3) 配置ssh免登陆

$ ssh-keygen -t rsa //生成本用户的公钥和私钥（一路按ENTER键）

$ ssh-copy-id host01 //将公钥添加到本地信任列表（参数为本机主机名）

$ ssh-copy-id host02@192.168.10.9 //将公钥添加到免登陆目标主机的普通用户信任列表(用户名@IP)

$ ssh-copy-id root@192.168.10.9 //将公钥添加到免登陆目标主机的root用户信任列表(用户名@IP)

4）删除CentOS7 自带的openjdk

$ rpm -qa | grep java //列出本机已安装jdk

$ sudo rpm -e --nodeps java-1.8.0-openjdk //具体软件名要跟上一步列出的名称对应

$ sudo rpm -e --nodeps java-1.8.0-openjdk-headless

$ sudo rpm -e --nodeps java-1.7.0-openjdk

$ sudo rpm -e --nodeps java-1.7.0-openjdk-headless

 

2.安装jdk1.8

$ sudo mkdir /usr/java

$ sudo tar -zxvf jdk-8u151-linux-x64.tar.gz /usr/java/ //红色标注部分为jdk路径

$ sudo vim /etc/profile

 

追加如下两行

export JAVA_HOME=/usr/java/jdk1.8.0_151

export PATH=$PATH:$JAVA_HOME/bin

 

$ source /etc/profile