Hive 安装及部署

一、下载Hive

下载地址：http://archive.apache.org/dist/hive/

文档地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted

二、安装配置MySQL

因为我们需要将Hive的元数据存储到MySQL中，所以需要单独安装一下MySQL，MySQL可以安装在集群之外的服务器上，只要能访问到就可以，本文安装在了集群之外的服务器上

yum 方式安装，建议参考：https://www.cnblogs.com/porotin/p/9045391.html

补充：

为了保证Hive能远程访问到MySQL，我们需要对其进行配置；

进入msyql库

mysql> use mysql;

修改user表，把Host表内容修改为%

mysql> update user set host="%" where user="root";

刷新

mysql> flush privileges;

三、安装部署Hive

本文Hive安装在了hadoop101节点所在的服务器上

1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下

2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

 mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4）修改/etc/profile，添加环境变量

sudo vim /etc/profile

5）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

使环境变量生效

source /ect/profile

6）解决日志Jar包冲突(将日志jar包重命名)

[atguigu@hadoop101 software]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

四、Hive元数据配置到MySql

1. 准备驱动

将MySQL的JDBC驱动（到maven仓库下载）拷贝到Hive的lib目录下

cp /opt/software/mysql-connector-java-5.1.48.jar $HIVE_HOME/lib

2. 配置Metastore到MySql

在$HIVE_HOME/conf目录下新建hive-site.xml文件

vim $HIVE_HOME/conf/hive-site.xml

添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc 连接的 URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://121.195.170.138:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc 连接的 Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- jdbc 连接的 username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc 连接的 password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>pwd</value>
    </property>
    <!-- Hive 元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--元数据存储授权-->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <!-- Hive 默认在 HDFS 的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop101:9083</value>
    </property>
    <!-- 指定 hiveserver2 连接的 host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop101</value>
    </property>
    <!-- 指定 hiveserver2 连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
</configuration>

xml中使用’&'符号：&

若不指定hive.metastore.uris属性，可以不开启metastore服务

五、启动Hive

1. 初始化元数据库

1）登陆MySQL

mysql -uroot -p

2）新建Hive元数据库

mysql> create database metastore;
mysql> quit;

3）初始化Hive元数据库

schematool -initSchema -dbType mysql -verbose

若报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
则说明可能是guava.jar的版本存在问题，解决方案：https://blog.csdn.net/weixin_40083227/article/details/103958335

2. 启动metastore和hiveserver2

Hive 2.x以上版本，要先启动这两个服务，否则会报错：
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

（1）启动metastore

 $HIVE_HOME hive --service metastore 

注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

（2）启动 hiveserver2

$HIVE_HOME hive --service hiveserver2

注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

为了方便使用,建议使用以下脚本：

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs

mkdir -p $HIVE_LOG_DIR

#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

添加执行权限

chmod +x $HIVE_HOME/bin/hiveservices.sh

启动Hive后台服务

 hiveservices.sh start

有start、stop、restart、status四个可选参数

3. HiveJDBC访问

1）启动beeline客户端

beeline -u jdbc:hive2://hadoop101:10000 -n root

如果报错：java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://hdp001:10000/db2: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate root
解决方案：https://my.oschina.net/weiyi/blog/1830324

2）看到如下界面

Connecting to jdbc:hive2://hadoop101:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://hadoop101:10000>