HIVE安装实录

1. 主机与服务规划

1.1 主机规划

安装hive 还需要mysql 与 hadoop 支持,我这里已经搭建好了hadoop集群

主机	IP	HostName	CPU	MEMERY	USER	PWD
hadoop180	192.168.207.180	hadoop180	2 CORE	4G	root	root
hadoop181	192.168.207.181	hadoop181	4 CORE	8G	hadoop	hadoop
hadoop182	192.168.207.182	hadoop182	4 CORE	8G	hadoop	hadoop
hadoop183	192.168.207.183	hadoop183	4 CORE	8G	hadoop	hadoop

1.2 服务规划

我这里服务很多,是因为配置的使HadoopHa集群

服务	hadoop180	hadoop181	hadoop182	hadoop183
DataNode		√	√	√
Journal Node		√	√	√
Zookeeper		√	√	√
ZKFS		√	√	√
ResourceManager		√	√	√
NodeManager		√	√	√
Name Node		√	√	√
HistoryServer		√
MySql	√
Hive		√

---

2. 具体安装

安装之前需要先安装好mysql 和 hadoop集群,然后再hadoop节点的其中一台安装hive服务, 我是安装在了hadoop181节点

2.1 下载安装包

我这里使用了 apache-hive-3.1.2-bin.tar.gz 的安装包

# 下载完成后查看
[hadoop@hadoop181 ~]$ ll | grep *.tar.gz
-rw-rw-r--  1 hadoop hadoop 324255922 Mar 30 18:29 apache-hive-3.1.2-bin.tar.gz

2.2 解压安装包并改名字

# 我直接下载到了家目录
[hadoop@hadoop181 ~]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz

# 查看解压后的名字
[hadoop@hadoop181 ~]$ ll | grep hive
drwxrwxr-x  9 hadoop hadoop       153 Sep 15 18:12 apache-hive-3.1.2-bin
-rw-rw-r--  1 hadoop hadoop 324255922 Mar 30 18:29 apache-hive-3.1.2-bin.tar.gz

# 修改个简单的名字
[hadoop@hadoop181 ~]$ mv apache-hive-3.1.2-bin apache-hive

2.3 修改 hive-env.sh 配置文件

# 进入到配置文件目录
[hadoop@hadoop181 ~]$ cd apache-hive/conf

# 生成hive-env.sh 配置文件
[hadoop@hadoop181 conf]$ cp hive-env.sh.template hive-env.sh

# 修改 hive-env.sh 配置文件
[hadoop@hadoop181 conf]$ vim hive-env.sh

2.4 配置环境变量

[hadoop@hadoop181 ~]$ vim ~/.bashrc

[hadoop@hadoop181 ~]$ source ~/.bashrc

2.5 移除 hive 中的冲突包

（1） 移除 slf4j 包

 mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.back

（2）移除 guava 包

我安装其他版本,没出现这个, 只是hadoop升级之后就出问题了,替换这个hive的guava就解决了问题

[hadoop@hadoop181 lib]$ cd $HIVE_HOME/lib/
[hadoop@hadoop181 lib]$ mv $HIVE_HOME/lib/guava-14.0.1.jar $HIVE_HOME/lib/guava-14.0.1.jar.back

（3） 将Hadoop 目录下的guava复制古来即可

cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib/

3. HIVE 元数据配置到MYSQL

3.1 增加驱动包

# 上传一个mysql的驱动包到 hive 的 lib 目录中, 我是直接拿了maven仓库中的驱动包过来
[hadoop@hadoop181 lib]$ ll | grep mysql
-rw-rw-r-- 1 hadoop hadoop   968668 Jun 10  2017 mysql-connector-java-5.1.35.jar
-rw-r--r-- 1 hadoop hadoop     7954 Feb 14  2017 mysql-metadata-storage-0.9.2.jar

3.2 修改hive-site.xml文件

（1） 创建配置文件

[hadoop@hadoop181 lib]$ cd $HIVE_HOME/conf/

# 创建配置文件， 不要从模板copy，内容太多了懒得找
[hadoop@hadoop181 conf]$ touch hive-site.xml

（2）配置文件内增加如下内容

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop180:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>1230</value>
        <description>password to use against metastore database</description>
    </property>
</configuration>

3.3 初始化MySql数据库

(1) 找到初始化工具

# 在hive安装目录的bin中有个 schematool,这个是用来初始化数据库的
[hadoop@hadoop181 conf]$ cd $HIVE_HOME/bin

(2) 执行初始化命令

# 当出现了 Initialization script completed Schematool completed 即初始化成功了
[hadoop@hadoop181 bin]$ schematool -dbType mysql -initSchema

好了， 到此 我们的 Hive 环境搭建完毕 ~ ~ ~ ~ ~准备去测试下子 ~ ~ ~

3.4 测试

（1）测试hive客户端是否能打开

（2）测试sql命令能否执行