Linux CentOS7 安装Hive3.1.1

最新推荐文章于 2024-07-26 21:53:51 发布
最新推荐文章于 2024-07-26 21:53:51 发布
阅读量1.5k 收藏 5
点赞数
分类专栏： Hadoop 文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/89714184
版权

文章目录

一、安装前准备

1.1 安装环境

[root@server1 ~]# cat /etc/redhat-release 
CentOS Linux release 7.6.1810 (Core)

1.2 依赖服务

jdk1.8：https://blog.csdn.net/qq_39680564/article/details/82768938
mysql5.7：https://blog.csdn.net/qq_39680564/article/details/84943471
hadoop-3.0.3：https://blog.csdn.net/qq_39680564/article/details/89513162
hiveHQL：https://www.cnblogs.com/racin-job/p/8695174.html

二、下载安装包

cd /opt
wget http://archive.apache.org/dist/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz
tar -zxvf apache-hive-3.1.1-bin.tar.gz
mv apache-hive-3.1.1-bin hive

三、配置环境变量

vim ~/.bashrc

添加如下内容

# hive
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

刷新

source ~/.bashrc

如图
在这里插入图片描述

四、修改配置文件

4.1 创建hive-site.xml文件

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml

vim /opt/hive/conf/hive-site.xml

4.2 添加的配置为数据库连接配置（需要删掉文本中与之重复的原有配置）

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://192.168.1.100:3306/hive?useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
</property>
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

在这里插入图片描述

4.3 设置临时目录

vim /opt/hive/conf/hive-site.xml

将这三处的${system:java.io.tmpdir}替换为本地的目录，目录需要自己创建

<name>hive.exec.local.scratchdir</name>
<name>hive.downloaded.resources.dir</name>
<name>hive.server2.logging.operation.log.location</name>

mkdir -p /data/hive/tmp/

如图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、Hive启动

5.1 进入mysql数据库，创建hive数据库

create database hive;

5.2 将数据库驱动放入hive的lib目录

cd /opt/hive/lib/
wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar

5.3 进入hive的bin目录初始化

cd /opt/hive/bin
schematool -dbType mysql -initSchema

报错：

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3125)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2894)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2769)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1423)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:4990)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:5063)
	at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5150)
	at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5098)
	at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
	at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:244)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:158)
Caused by: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]
	at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491)
	at com.ctc.wstx.sr.StreamScanner.reportIllegalChar(StreamScanner.java:2456)
	at com.ctc.wstx.sr.StreamScanner.validateChar(StreamScanner.java:2403)
	at com.ctc.wstx.sr.StreamScanner.resolveCharEnt(StreamScanner.java:2369)
	at com.ctc.wstx.sr.StreamScanner.fullyResolveEntity(StreamScanner.java:1515)
	at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2828)
	at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2960)
	... 15 more

解决方法：opt/hive/conf/hive-site.xml文件的第3231行有特殊字符，删掉即可
在这里插入图片描述
重新初始化，提示成功

Initialization script completed
schemaTool completed

5.4 启动验证

查看版本：

[root@master bin]# hive --version

运行结果

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-3.1.1/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive 3.1.1
Git git://daijymacpro-2.local/Users/daijy/commit/hive -r f4e0529634b6231a0072295da48af466cf2f10b7
Compiled by daijy on Tue Oct 23 17:19:24 PDT 2018
From source with checksum 6deca5a8401bbb6c6b49898be6fcb80e

如图
在这里插入图片描述
启动hive，创建一个库：

[root@master bin]# hive

hive> create database db_liuli;
OK
Time taken: 0.043 seconds

查看

hive> show databases;
OK
db_liuli
default
Time taken: 0.019 seconds, Fetched: 2 row(s)

hdfs目录
在这里插入图片描述

六、异常分析

schematool -dbType mysql -initSchema初始化时
报错一：

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3125)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2894)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2769)
	at org.apache.hadoop.conf.Configuration.get(Configuration.java:1423)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:4990)
	at org.apache.hadoop.hive.conf.HiveConf.getVar(HiveConf.java:5063)
	at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5150)
	at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5098)
	at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
	at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:244)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:158)
Caused by: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]
	at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621)
	at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491)
	at com.ctc.wstx.sr.StreamScanner.reportIllegalChar(StreamScanner.java:2456)
	at com.ctc.wstx.sr.StreamScanner.validateChar(StreamScanner.java:2403)
	at com.ctc.wstx.sr.StreamScanner.resolveCharEnt(StreamScanner.java:2369)
	at com.ctc.wstx.sr.StreamScanner.fullyResolveEntity(StreamScanner.java:1515)
	at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2828)
	at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2960)
	... 15 more

在这里插入图片描述
解决方法：opt/hive/conf/hive-site.xml文件的第3231行有特殊字符，删掉即可

vim /opt/hive/conf/hive-site.xml
:set nu
:3231

找到该字符：
在这里插入图片描述

报错二：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:derby:;databaseName=metastore_db;create=true
Metastore Connection Driver :	 org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User:	 APP
Starting metastore schema initialization to 3.1.0
Initialization script hive-schema-3.1.0.mysql.sql

Error: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
Underlying cause: java.io.IOException : Schema script failed, errorcode 2
Use --verbose for detailed stacktrace.
*** schemaTool failed ***

在这里插入图片描述
解决方法：删掉与添加的配置文件重名的配置信息
hive启动时报错
报错一：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 6d8b8d61-66cb-40d2-a876-ac512c2cf0c2

Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-3.1.1.jar!/hive-log4j2.properties Async: true
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
	at org.apache.hadoop.fs.Path.initialize(Path.java:259)
	at org.apache.hadoop.fs.Path.<init>(Path.java:217)
	at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:707)
	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:624)
	at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:588)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:747)
	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:244)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:158)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
	at java.net.URI.checkPath(URI.java:1823)
	at java.net.URI.<init>(URI.java:745)
	at org.apache.hadoop.fs.Path.initialize(Path.java:256)
	... 12 more

在这里插入图片描述
解决方法：配置没有修改hive的临时目录
修改hive-site.xml文件的${system:java.io.tmpdir}，一共两处，改为本地的存在目录

vim /opt/hive/conf/hive-site.xml

在这里插入图片描述

刘李404not found
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7安装Hive
小松鼠的博客
10-28 1996
Hive安装 Hive的安装需要Mysql的参与，centos7安装mysql见下一篇文章。 下载Hive 下载地址：http://hive.apache.org/downloads.html 版本：apache-hive-2.3.3-bin.tar.gz 安装Hive 解压压缩文件，目录“/home/hadoop/apps/” tar -zxvf apache-hive-2.3.3-bin.ta...
centos7 hive mysql_Centos7安装hive3.1.2
weixin_39836751的博客
02-06 127
hive3.1.2安装1.下载wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz2.解压tar -zxvf apache-hive-3.1.2-bin.tar.gz3.重命名mv apache-hive-3.1.2-bin hive配置hive1.编辑hive-s...
centos7安装Hive2.3.0
林贻民的博客
08-17 5947
1、下载Hive2.3.0wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz2、解压到指定安装目录tar -zxvf apache-hive-2.3.0-bin.tar.gz mv apache-hive-2.3.0-bin /usr/local/hive cd /usr/local/hi
Hive3：Centos7环境部署Hive服务
最新发布
Brave_heart4pzj的博客
07-26 610
Hive
centos7安装hive
Gorilla的博客
11-12 436
安装hive 前提:首先hadoop集群环境要能跑起来 1.先在网上下一个hive的压缩包 2.然后解压 3.解压完将 这个jar包传到hive的lib文件夹下 4.在 /etc/proflie 下将HIVE_HOME和path配置好 5.在conf文件夹下创建hive-site.xml &amp;amp;lt;configuration&amp;amp;gt; &amp;amp;lt;property&amp;amp;gt;
Centos7安装hive3.1.2
fen_fen的专栏
04-05 925
Centos7安装hive3.1.2
centos7安装配置Hive
番茄Salad
05-13 2242
rpm -qa | grep -i mysql 查看 rpm -e --nodeps 卸载 1.官网下载安装mysql-server wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server 2.安装成功后重启mysql服务 service mysql
Centos7下Hive-1.2.1安装部署
大大大水牛
01-08 3676
Centos7下Hive-1.2.1安装部署
基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1.doc
02-17
"基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1" 本文档旨在描述基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1的环境搭建过程。该文档涵盖了环境说明、软件版本说明、配置hosts和hostname、配置SSH...
CentOS7+ Hadoop3.2.0+MySQL5.7安装配置Hive3.1.1
ChungChinKei' blog
08-07 3802
一、安装环境 操作系统：CentOS7.6 Hadoop版本：Hadoop3.2.0 MySQL版本：MySQL5.7 Hive的安装基于Hadoop，因此需要先搭建好Hadoop环境，详细可见：CentOS7 + Hadoop 3.2.0集群搭建； 其次以MySQL作为Hive的元数据库，所以也要先安装好MySQL，详见：CentOS7下yum方式安装MySQL5.7 二、安装配置Hive 官...
CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
heima201907的博客
12-03 144
1.前言 说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也...
centos7中hive的安装和使用
11-01
不多说什么,安装hive和mysql,以及一些使用,想学的可以看看文档,我换点积分,仅此而已
Centos6.5安装hdp.docx
09-01
【CentOS 6.5 安装HDP集群详解】 HDP（Hortonworks Data Platform）是一个基于Apache Hadoop的全面数据管理平台，提供了一系列的数据处理、分析和管理工具。在CentOS 6.5上安装HDP集群，需要遵循一系列的步骤。以下...
基于Centos7和Hadoop3.2.1安装Hive3.1.2
JiaoJy
05-27 2568
已安装环境 看前文 操作系统：Centos7，Windows10(可选) 工具：JDK11.0.7，MySQL8，Hadoop3.2.1 1.MySQL数据库权限修改 修改root权限，使得服务器可以远程连接： mysql> use mysql Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A
CentOS7安装hive（apache-hive-3.1.2-bin）
qq_55906442的博客
03-12 3925
目录 一.安装准备 二.安装配置 三.验证安装 一.安装准备 1.安装好MySQL Linux安装MySQL5.7（CentOS7）_一个人的牛牛的博客-CSDN博客 2.下载安装包 点击连接下载 Index of /hive 3.版本选择 我安装的是apache-hive-3.1.2-bin版本！ 二.安装配置 1.上传安装包 用MobaXterm_Protable上传，MobaXterm_Protable是Windows和Linux之间的连接工具。 M.
Hive安装和使用 centos7
cbb
10-28 1804
前言 说明安装hive之前，系统已经安装好了 java，hadoop，mysql。 版本说明 java jdk1.8 haoop 3.2.2 hive 3.1.2 目前hive官网是支持hadoop3.x 版本的，hive 版本要3.x。不然安装没法使用。 hive的安装模式有2种，一种是使用自带的derby数据库，另一种是使用mysql作为元数据库。derby方式一般没人用，因为它是单用户模式。 我这里主要讲解mysql方式。 hive仅仅是一个客户端工具，不存在集群概念，因此安装的时候无需每台机器安装，
【大数据】CentOS7 安装 Hive（附有Hive基本使用-练习）
X10的博客
01-03 1583
利用Xshell中的xftp，将apache-hive导入到CentOS7的/opt/source文件夹下。数据准备：在/opt/module/datas/student.txt 这个目录下准备数据。·修改hive-site.xml文件。·配置hive-env.sh文件。配置hive-env.sh文件。显示default数据库中的表。执行完后，重启MySQL服务。添加mysql驱动包。配置hive环境变量。显示数据库中有几张表。
Centos7 安装hive
Solaede的博客
10-26 659
在Linux Centos7 环境下安装hive！亲测有效！
CentOS7安装hive
10-21
如果需要将Apache Hive导入到CentOS7的/opt/source文件夹下，可以使用Xshell中的xftp进行文件传输。具体步骤如下： 1. 在本地电脑上打开Xftp，连接到CentOS7服务器。 2. 将Apache Hive压缩包上传到服务器的/opt/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值