Hive 3.1.2安装与配置

sybkl

已于 2023-08-05 16:44:05 修改

阅读量573

点赞数 1

分类专栏：大数据文章标签： hive hadoop mysql

于 2023-07-22 17:58:37 首次发布

本文链接：https://blog.csdn.net/sybkl/article/details/131870886

版权

大数据专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在已安装MySQL服务的环境中安装Hive，包括下载安装包，解压，设置环境变量，配置Hive使用MySQL作为元数据库，拷贝JDBC驱动，初始化元数据库，解决jar包冲突问题，以及启动Hive服务和使用beeline客户端。同时提到了调整Hive日志等级的方法。

摘要由CSDN通过智能技术生成

注：该环境已安装MySQL服务

1. Hive安装

Hive安装包下载地址

百度网盘下载地址（平台搭建全套安装包）：
链接：https://pan.baidu.com/s/11HyrxVKevgvJc-rI6bFLjA
提取码：sybk

1）解压apache-hive-3.1.2-bin.tar.gz到/opt/module目录下面

[root@bigdata1 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

2）修改apache-hive-3.1.2-bin.tar.gz的名称为hive

[root@bigdata1 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

3）修改/etc/profile.d/bigdata_env.sh，\添加环境变量

[root@bigdata1 software]$ vim /etc/profile

4）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

2. Hive元数据库配置

将Hive的元数据库配置为MySQL。

驱动拷贝

#将MySQL的JDBC驱动拷贝到Hive的lib目录下：
cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

配置MetaStore数据库为MySQL

mv hive-env.sh.template hive-env.sh

export HADOOP_HOME=/opt/module/hadoop
export HIVE_CONF_DIR=/opt/module/hive/conf
export HIVE_AUX_JARS_PATH=/opt/module/hive/lib

在hive的conf目录下新建hive-site.xml：(hive的元数据存储配置)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://slave1:3306/hive_metastore?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
</property>

    <!-- jdbc连接的Driver驱动-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

    <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>passwd</value>
    </property>

    <!-- 远程模式部署metastore服务地址    指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master:9083</value>
    </property>

    <!-- 关闭元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
	</property>
    
    <!-- 关闭Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <!-- hiveserver2的高可用参数，开启此参数可以提高hiveserver2的启动速度 -->
    <property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>

    <!-- 指定hiveserver2连接的端口号 -->（jdbc客户端连接的端口）
    <property>
        <name>hive.server2.thrift.port</name>     
        <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>master</value>
    </property>
</configuration>

3. 启动

3.1 初始化元数据库

登陆MySQL

mysql -uroot -p123456

新建Hive元数据库

mysql> create database metastore;
mysql> quit;

3.初始化Hive元数据库

[root@bigdata1 software]# bin/schematool -initSchema -dbType mysql -verbose

注：jar包冲突解决

#若初始化Hive元数据库时出现以下报错。
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决方案：

关键在： com.google.common.base.Preconditions.checkArgument 这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。 检验方法：

查看hadoop安装目录下share/hadoop/common/lib内guava.jar版本     
查看hive安装目录下lib内guava.jar的版本 如果两者不一致，删除版本低的，并拷贝高版本的 问题解决！

3.2 启动Hive

#创建logs目录用来存放日志：
[root@bigdata1 hive-3.1.2]# mkdir logs

#启动：
远程模式启动hive服务
bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console                
(前台启动,开启debug日志)


后台启动
nohup /opt/module/hive/bin/hive --service metastore &

nohup hive --service metastore>/opt/module/hive/logs/metastore.log 2>&1 &

beeline客户端服务 hiveserver2服务
nohup hive --service hiveserver2& 
hiveserver2>/opt/module/hive/logs/hive2.log 2>&1 &
beeline> ! connect jdbc:hive2://bigdata01:10000

#检查：
[root@bigdata1 hive-3.1.2]# ps -aux|grep hive

3.3 beeline客户端

nohup hive --service hiveserver2 &

beeline 

!connect jdbc:hive2://host:port username

[root@bigdata1 ~]# beeline
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Beeline version 3.1.2 by Apache Hive
beeline> !connect jdbc:hive2://bigdata1:10000 root
Connecting to jdbc:hive2://bigdata1:10000
Enter password for jdbc:hive2://bigdata1:10000:
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://bigdata1:10000> show databases;
+----------------+
| database_name  |
+----------------+
| default        |
| dwd            |
| hudi_ds_dwd    |
| hudi_ds_ods    |
| hudi_gy_dwd    |
| hudi_gy_ods    |
| ods            |
+----------------+
7 rows selected (3.588 seconds)
0: jdbc:hive2://bigdata1:10000>

3.4修改hive-console日志等级

hive/conf/log4j.properties

log4j.rootLogger=WARN, CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n