hadoop spark hive 集群配置（一）基础篇

Centos 7 下的基础配置与zookeeper

1. ##补：net-tools安装
2. ###如果没有ifconfig命令，则可以先查一下ifconfig命令在哪个包里面
3. yum search ifconfig
4. ###然后安装
5. yum -y install net-tools

一 .修改主机名

本次集群搭建共有三个节点，包括一个主节点master，和两个从节点slave1和slave2。

master

su 
hostnamectl set-hostname master 
vi /etc/sysconfig/network

1. NETWORKING=yes
2. HOSTNAME=master

保存该文件，重启计算机：

reboot

查看是否生效：

hostname

---

slave1

hostnamectl set-hostname slave1 
vi /etc/sysconfig/network

1. NETWORKING=yes
2. HOSTNAME=slave1

保存该文件，重启计算机：

reboot

查看是否生效：

hostname

---

SLAVE2

hostnamectl set-hostname slave2 
vi /etc/sysconfig/network

1. NETWORKING=yes
2. HOSTNAME=slave2

保存该文件，重启计算机：

reboot

查看是否生效：

hostname

---

二.配置host文件

master:

vim /etc/hosts

1. 192.168.15.104 master
2. 192.168.15.127 slave1
3. 192.168.15.124 slave2

分发hosts给slave1和slave2

scp /etc/hosts slave1:/etc/ 
scp /etc/hosts slave2:/etc/

三 关闭防火墙（可以一起写 ）

master

#关闭防火墙：
systemctl stop firewalld
#查看状态：
systemctl status firewalld

slave1

#关闭防火墙：
systemctl stop firewalld
#查看状态：
systemctl status firewalld

slave2

#关闭防火墙：
systemctl stop firewalld
#查看状态：
systemctl status firewalld

四 时间同步（可以一起写 ）

没有网络则

master

date -s 

slave1

date -s 

slave2

date -s 

有网

master

tzselect 
5 
9 
1 
1 
yum install –y ntp 
vim /etc/ntp.conf

1. server 127.127.1.0 # local clock
2. fudge 127.127.1.0 stratum 10 #stratum设置为其它值也是可以的，其范围为0~15

/bin/systemctl restart ntpd.service

slave1

tzselect 
5 
9 
1 
1 
yum install –y ntp 
ntpdate master

slave2

tzselect 
5 
9 
1 
1 
yum install –y ntp 
ntpdate master

五配置ssh免密（可以一起写,但要一步一步写 ）

master

ssh-keygen
ssh-copy-id -i .ssh/id_rsa.pub master   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave1   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave2   #复制密钥

slave1

ssh-keygen
ssh-copy-id -i .ssh/id_rsa.pub master   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave1   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave2   #复制密钥

slave2

ssh-keygen
ssh-copy-id -i .ssh/id_rsa.pub master   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave1   #复制密钥
ssh-copy-id -i .ssh/id_rsa.pub slave2   #复制密钥

六．安装JDK

首先在根目录下建立工作路径/usr/java

master

mkdir -p /usr/java 
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/ 
vim /etc/profile

1. export JAVA_HOME=/usr/java/jdk1.8.0_171
2. export CLASSPATH=$JAVA_HOME/lib/
3. export PATH=$PATH:$JAVA_HOME/bin
4. export PATH JAVA_HOME CLASSPATH

生效环境变量：

source /etc/profile

查看java版本：

java -version

分发java软件、Java配置、profile给slave1和slave2

scp -r /usr/java root@slave1:/usr/ 
scp -r /etc/profile root@slave1:/etc/ 
scp -r /usr/java root@slave2:/usr/ 
scp -r /etc/profile root@slave2:/etc/

---

slave1

生效环境变量：

source /etc/profile

查看java版本：

java -version

---

slave2

#生效环境变量：
source /etc/profile
#查看java版本：
java -version