CentOS7+ Hadoop3.2.0+MySQL5.7安装配置Hive3.1.1

本文介绍了在CentOS7环境下,如何安装配置Hive3.1.1,包括依赖的Hadoop3.2.0和MySQL5.7的设置。详细步骤涵盖环境准备、Hive的安装、配置HDFS文件夹、数据库配置、解决SLF4J冲突、数据库连接问题以及时区设置等常见问题的解决方法。
摘要由CSDN通过智能技术生成

一、安装环境

操作系统:CentOS7.6
Hadoop版本:Hadoop3.2.0
MySQL版本:MySQL5.7

Hive的安装基于Hadoop,因此需要先搭建好Hadoop环境,详细可见:CentOS7 + Hadoop 3.2.0集群搭建
其次以MySQL作为Hive的元数据库,所以也要先安装好MySQL,详见:CentOS7下yum方式安装MySQL5.7


二、安装配置Hive

官网链接找到对应版本的Hive安装包,我选择的是Hive3.1.1.
利用xshell等工具将安装包上传到/usr/local/hive/下,并解压:

(base) [root@DW1 hive]# tar -zxvf apache-hive-3.1.1-bin.tar.gz 
(base) [root@DW1 hive]# cd apache-hive-3.1.1-bin
(base) [root@DW1 apache-hive-3.1.1-bin]# ll
total 56
drwxr-xr-x 3 root root   157 Aug  5 13:31 bin
drwxr-xr-x 2 root root  4096 Aug  5 13:31 binary-package-licenses
drwxr-xr-x 2 root root  4096 Aug  5 13:31 conf
drwxr-xr-x 4 root root    34 Aug  5 13:31 examples
drwxr-xr-x 7 root root    68 Aug  5 13:31 hcatalog
drwxr-xr-x 2 root root    44 Aug  5 13:31 jdbc
drwxr-xr-x 4 root root 12288 Aug  5 13:31 lib
-rw-r--r-- 1 root root 20798 Oct 23  2018 LICENSE
-rw-r--r-- 1 root root   230 Oct 23  2018 NOTICE
-rw-r--r-- 1 root root   222 Oct 23  2018 RELEASE_NOTES.txt
drwxr-xr-x 4 root root    35 Aug  5 13:31 scripts

在/etc/profile中添加环境变量:

(base) [root@DW1 apache-hive-3.1.1-bin]# vi /etc/profile

#添加以下内容
export HIVE_HOME=/usr/local/hadoop/apache-hive-3.1.1-bin
export PATH=$PATH:HIVE_HOME/bin

(base) [root@DW1 apache-hive-3.1.1-bin]# source /etc/profile

在 /usr/local/hadoop/apache-hive-3.1.1-bin/conf/ 下创建hive-site.xml 文件:

(base) [root@DW1 conf]# ls
beeline-log4j2.properties.template  hive-env.sh.template                  ivysettings.xml                         metastore_db
derby.log                           hive-exec-log4j2.properties.template  llap-cli-log4j2.properties.template     parquet-logging.properties
hive-default.xml.template           hive-log4j2.properties.template       llap-daemon-log4j2.properties.template

# 复制hive-default.xml.template并更名为hive-site.xml
(base) [root@DW1 conf]# cp hive-default.xml.template hive-site.xml

(base) [root@DW1 conf]# ls
beeline-log4j2.properties.template  hive-env.sh.template                  hive-site.xml                        llap-daemon-log4j2.properties.template
derby.log                           hive-exec-log4j2.properties.template  ivysettings.xml                      metastore_db
hive-default.xml.template           hive-log4j2.properties.template       llap-cli-log4j2.properties.template  parquet-logging.properties
创建HDFS文件夹

因为在hive-site.xml 中如下HDFS相关设置,因此我们需要现在HDFS中创建对应的目录:

  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>

  <property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>

创建两个对应的目录并赋予读写权限:

(base) [root@DW1 apache-hive-3.1.1-bin]# hadoop fs -mkdir -p /user/hive/warehouse
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值