Hive安装配置

Hive安装配置

1.下载

Hive官网地址：http://hive.apache.org
Hive官网下载地址：http://archive.apache.org/dist/hive
文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted
github地址：https://github.com/apache/hive

//上传，通过MobaXterm软件上传安装包放到已创建目录software
//解压，压缩包修改成自己下载的
tar -zxvf /opt/software/hive-3.1.3.tar.gz -C /opt/module/
 
//切换目录
cd /opt/module/
//重命名
[root@hadoop01 module]# mv apache-hive-3.1.3-bin/ hive
 
//配置环境变量
vi /etc/profile.d/my_env.sh
//my_env.sh添加下面内容
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

//改了环境变量，分发一下给其他机器同步
xsync /etc/profile.d/my_env.sh
//三台刷新一下环境变量。
source /etc/profile.d/my_env.sh

 2.配置

1）解决日志Jar包冲突

hive底层依赖于hdfs，它们两个都有一个Log4j的jar包，将hive里面的jar包另外取名备用

cd /opt/module/hive/lib
[root@hadoop01 lib]# mv log4j-slf4j-impl-2.17.1.jar log4j-slf4j-impl-2.17.1.jar.bak

1）Hive元数据配置到MySQL 

拷贝驱动

#将MySQL的JDBC驱动拷贝到Hive的lib目录下
cp /opt/software/mysql/mysql-connector-j-8.0.31.jar /opt/module/hive/lib/

 配置Metastore到MySQL

在hive目录下新建hive-site.xml文件

vi /opt/module/hive/conf/hive-site.xml

#添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--配置Hive保存元数据信息所需的 MySQL URL地址-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop01:3306/metastore?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
    </property>

    <!--配置Hive连接MySQL的驱动全类名-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>

    <!--配置Hive连接MySQL的用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!--配置Hive连接MySQL的密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>000000</value>
    </property>

    <!--Hive存自身数据的位置 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <!--远程连接报异常，兼容性问题，配置的话异常会少一些 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <!--远程连接 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop01</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
    <!--hive本地客户端，加不加都行 -->
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
</configuration>

初始化元数据库

#登陆MySQL
mysql -uroot -p000000
#新建Hive元数据库
mysql> create database metastore;
#初始化Hive元数据库
[root@hadoop01 hive]# schematool -initSchema -dbType mysql -verbose

#修改元数据库字符集,修改Hive元数据库中存储注释的字段的字符集为utf-8
mysql> use metastore;
#字段注释
mysql> alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#表注释
mysql> alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;
#退出mysql
mysql> quit

3.启动

#直接输入hive,启动hive客户端
hive

#查看数据库
hive (default)> show databases;
#建表
hive (default)> create table stu(id int,name string);
#插入数据
hive (default)> insert into stu values(1,'majx');

原生hive底层引擎是mr引擎，insert跑mr任务稍微有点慢，后续将改为spark引擎。