Hive 组件安装配置

实验环境

服务器集群	3 个以上节点，节点间网络互通，各节点最低配置：双核 CPU、8GB 内存、100G 硬盘
运行环境	CentOS 7.4
服务和组件	完成前面章节实验，其他服务及组件根据实验需求安装

一、下载和解压安装文件

步骤一：基础环境和安装准备

Hive 组件的部署规划和软件包路径如下：

（1）当前环境中已安装 Hadoop 全分布系统。 
（2）本地安装 MySQL 数据库（账号 root，密码 Password123$）， 软件包在/opt/software/mysql-5.7.18 路径下。 
（3）MySQL 端口号（3306）。 
（4）MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.47.jar， 在此基础上更新 Hive 元数据存储。 
（5）Hive 软件包/opt/software/apache-hive-2.0.0-bin.tar.gz。

步骤二：解压安装文件

/opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下

tar -zxvf /opt/software/apache-hive-2.0.0-bin.tar.gz -C /usr/local/src

将解压后的 apache-hive-2.0.0-bin 文件夹更名为 hive；

cd /usr/local/src/

ls

mv apache-hive-2.0.0-bin hive

修改 hive 目录归属用户和用户组为 hadoop

chown -R hadoop:hadoop /usr/local/src/hive

二、设置 Hive 环境

步骤一：卸载 MariaDB 数据库

（1）关闭 Linux 系统防火墙，并将防火墙设定为系统开机并不自动启动。

# 关闭防火墙服务 
[root@master ~]# systemctl stop firewalld 

# 设置防火墙服务开机不启动 
[root@master ~]# systemctl disable firewalld

（2）卸载 Linux 系统自带的 MariaDB。

# 查询已安装的 mariadb 软件包 
[root@ master ~]# rpm -qa | grep mariadb

mariadb-libs-5.5.52-2.el7.x86_64

# 卸载 mariadb 软件包 
[root@master ~]# rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

步骤二：安装 MySQL 数据库

（1）按如下顺序依次按照 MySQL 数据库的 mysql common、mysql libs、mysql client 软件包 mysql server。

yum install -y libaio   //centos7.4最好按照，否则MySQL server可能会安装不了

[root@master ~]# cd /opt/software/     //资源包存放路径

rpm -ivh --nodeps mysql-community-common-5.7.18-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-libs-5.7.18-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-client-5.7.18-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-server-5.7.18-1.el7.x86_64.rpm

（2）修改 MySQL 数据库配置，在/etc/my.cnf 文件中添加如表 6-1 所示的 MySQL 数据 库配置项。

#将以下配置信息添加到/etc/my.cnf 文件 symbolic-links=0 配置信息的下方。

default-storage-engine=innodb
innodb_file_per_table
collation-server=utf8_general_ci init-connect='SET NAMES utf8' 
character-set-server=utf8

（3）启动 MySQL 数据库。

systemctl start mysqld

（4）查询 MySQL 数据库状态。

systemctl status mysqld

//mysqld 进程状态为 active (running)，则表示 MySQL 数 据库正常运行。

（5）查询 MySQL 数据库默认密码。

grep "password" /var/log/mysqld.log

//jc)co+.Zc6Oo就是数据库初始密码

2022-07-20T01:35:09.012177Z 1 [Note] A temporary password is generated for root@localhost: jc)co+.Zc6Oo

（6）进入MySQL数据库，并重设数据库密码。

[root@master]# mysql -uroot -p\
Enter password: （初始密码）

密码规则：大写字母+符号+8位

set password=password("123Qwe()");  //重设MySQL数据库密码

（7）添加 root 用户从本地和远程访问 MySQL 数据库表单的授权。

grant all privileges on *.* to "root"@"%" identified by "123Qwe()";   //添加 root 用户远程访问授权

flush privileges;  //刷新授权

create database hive default charset utf8;  //创建数据库hive，并制定默认的字符集是utf8。

exit

步骤三：配置 Hive 组件

（1）设置 Hive 环境变量并使其生效。

# 在文件末尾追加以下配置内容

export HIVE_HOME=/usr/local/src/hive
export PATH=$PATH:$HIVE_HOME/bin

# 使环境变量配置生效

source /etc/profile

（2）修改 Hive 组件配置文件。

将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件，更名为 hive-site.xml。

cd /user/local/src/hive/conf/

cp hive-default.xml.template hive-site.xml

（3）通过 vi 编辑器修改 hive-site.xml 文件实现 Hive 连接 MySQL 数据库，并设定 Hive 临时文件存储路径。

[root@master ~]# cd /usr/local/src/hive/conf/
[root@master conf]# vi hive-site.xml

1）设置 MySQL 数据库连接。

#底行模式 /ConnectionURL   *2

<name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&us eSSL=false</value>

2）配置 MySQL 数据库 root 的密码。

#底行模式 /ConnectionPassword    *2

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123Qwe()</value>
<description>password to use against s database</description>
</property>

3）验证元数据存储版本一致性。若默认 false，则不用修改。

<name>hive.metastore.schema.verification</name>
<value>false</value>

4）配置数据库驱动。

#底行模式 /ConnectionDriver

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>

5）配置数据库用户名javax.jdo.option.ConnectionUserName 为 root。

#底行模式 /ConnectionUserName

<name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>

6 ）将以下位置的 $system:java.io.tmpdir/${system:user.name} 替换为“/usr/local/src/hive/tmp”目录及其子目录。

#底行模式 /exec.local

<name>hive.exec.local.scratchdir</name>
    <value>/usr/local/src/hive/tmp</value>

#底行模式 /exec.local

<name>hive.downloaded.resources.dir</name>
    <value>/ usr/local/src/hive/tmp</value>

#底行模式 /querylog

<name>hive.querylog.location</name>
    <value>/usr/local/src/hive/tmp</value>

7）在 Hive 安装目录中创建临时文件夹 tmp。

mkdir /usr/local/src/hive/tmp

步骤四：初始化 hive 元数据

1）将 MySQL 数据库驱动（mysql-connector-java-5.1.46.jar）拷贝到 Hive 安装目录的 lib 下

[root@master ~]# cd /opt/software/mysql-connector-java-5.1.46/
[root@master mysql-connector-java-5.1.46]# ls
build.xml  COPYING                              mysql-connector-java-5.1.46.jar  README.txt
CHANGES    mysql-connector-java-5.1.46-bin.jar  README                           src
[root@master mysql-connector-java-5.1.46]# cp mysql-connector-java-5.1.46.jar  /usr/local/src/hive/lib/

2）重新启动 hadooop

[root@master ~]# cd /usr/local/src/hadoop/sbin/
[root@master sbin]# ./stop-all.sh 
[root@master sbin]# ./start-all.sh 

3）初始化数据库

[root@master conf]# cd /usr/local/src/hive/bin/

[root@master bin]# schematool --help

[root@master bin]# schematool -dbType mysql  -initSchema

4）启动 hive

[root@master ~]# hive