8.hive安装和 Hive环境准备（hive on Spark 、Yarn队列配置）

本文链接：https://blog.csdn.net/shenjianyu_rex/article/details/108406875

该博客详细介绍了Hive的安装部署过程，包括元数据配置到MySql，启动Hive服务，以及如何在Spark上运行Hive。此外，还讲解了在Yarn上配置容量调度器队列，特别是为Hive创建单独的队列，并配置客户端提交任务到特定队列。

摘要由CSDN通过智能技术生成

1 Hive安装部署

1）把apache-hive-3.1.2-bin.tar.gz上传到linux目录下
2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

[root@node09 06_hive]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/

3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

[root@node09 06_hive]# mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4）修改/etc/profile.d/my_env.sh，添加环境变量

[root@node09 06_hive]# vim /etc/profile.d/my_env.sh

5）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

使环境变量生效或者

[root@node09 06_hive]# source /etc/profile.d/my_env.sh

6）解决日志Jar包冲突，进入/opt/module/hive/lib目录

[root@node09 lib]# mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

2 Hive元数据配置到MySql

2.1 拷贝驱动

将MySQL的JDBC驱动拷贝到Hive的lib目录下

[root@node09 07_mysql]# cp  mysql-connector-java-5.1.48.jar /opt/module/hive/lib/

2.2 配置Metastore到MySql

在$HIVE_HOME/conf目录下新建hive-site.xml文件

[root@node09 conf]# vim hive-site.xml

添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node09:3306/metastore?useSSL=false</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>000000</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node09:9083</value>
    </property>

    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value