Hive集群部署指导文档（上）

1. 环境及安装包信息

系统：CentOS 7.6

jdk-8u251-linux-x64.tar.gz

apache-zookeeper-3.6.1-bin.tar.gz

hadoop-3.1.3.tar.gz

Mysql 5.7.30

apache-hive-3.1.2-bin.tar.gz

安装包下载地址：

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/

https://dev.mysql.com/downloads/mysql/

https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/

 

2. 节点免密配置

示例节点：

IP               主机名

192.168.0.131   openlookeng-gz-gh-0001  （master）

192.168.0.200   openlookeng-gz-gh-0002  （worker）

192.168.0.158   openlookeng-gz-gh-0003  （worker）

2.1 在每个节点生成秘钥

ssh-keygen 【enter】【enter】【enter】  （即输入ssh-keygen后敲三次【enter】键）

2.2 将每台机器的公钥复制到master节点

scp ~/.ssh/id_rsa.pub root@192.168.0.131:~/.ssh/id_rsa.pub_worker1  （192.168.0.200上执行）

scp ~/.ssh/id_rsa.pub root@192.168.0.131:~/.ssh/id_rsa.pub_worker2 （192.168.0.158上执行）

2.3 master上将公钥追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub_worker1 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub_worker2 >> ~/.ssh/authorized_keys

2.4 将Master中的authorized_keys拷贝到其它节点

scp ~/.ssh/authorized_keys root@192.168.0.200:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@192.168.0.158:~/.ssh/authorized_keys

设置成功，然后就可以免密啦~~~

 

3. 安装jdk

3.1 将jdk-8u251-linux-x64.tar.gz解压至/opt目录

tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt

3.2 添加环境变量

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_251

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

3.3 执行java -version进行验证

 [root@openlookeng-gz-gh-0001 ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b09, mixed mode)
[root@openlookeng-gz-gh-0001 ~]#

 

 

4 搭建Zookeeper

4.1 解压安装包并修改解压后的文件夹名

将zookeeper安装包解压至master的/opt目录：

tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C /opt

cd /opt && mv apache-zookeeper-3.6.1-bin zookeeper

4.2 配置环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/opt/zookeeper

export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile

4.3修改配置

进入zookeeper配置文件目录：

cd /opt/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

 

修改zoo.cfg文件：

修改dataDir目录：dataDir=/srv/data1/zookeeper/tmp  (根据具体情况修改)

并增加如下配置：

server.1=openlookeng-gz-gh-0001:2888:3888

server.2=openlookeng-gz-gh-0002:2888:3888

server.3=openlookeng-gz-gh-0003:2888:3888

（注：openlookeng-gz-gh-0001、openlookeng-gz-gh-0002、openlookeng-gz-gh-0003分别为集群各节点的主机名。）

 

创建dataDir目录并创建文件：

mkdir -p /srv/data1/zookeeper/tmp

touch /srv/data1/zookeeper/tmp/myid

echo 1 > /srv/data1/zookeeper/tmp/myid

4.4配置其它节点

将master解压并修改名称后的zookeeper文件夹传至其它节点上：

scp -r /opt/zookeeper root@192.168.0.200:/opt

scp -r /opt/zookeeper root@192.168.0.158:/opt

 

配置环境变量，同4.2

 

分别在192.168.0.200和192.168.0.158上执行如下：

192.168.0.200节点上：

mkdir -p /srv/data1/zookeeper/tmp

touch /srv/data1/zookeeper/tmp/myid

echo 2 > /srv/data1/zookeeper/tmp/myid

 

192.168.0.158节点上：

mkdir -p /srv/data1/zookeeper/tmp

touch /srv/data1/zookeeper/tmp/myid

echo 3 > /srv/data1/zookeeper/tmp/myid

4.5 启动zookeeper

在每个节点上执行如下命令：

zkServer.sh start

 

查看服务状态： zkServer.sh status

[root@openlookeng-gz-gh-0002 opt]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

（三个节点的mode分别为一个leader和两个follower）