Hive安装以及问题汇总

最新推荐文章于 2023-03-01 21:46:31 发布
最新推荐文章于 2023-03-01 21:46:31 发布
阅读量260 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/image_fzx/article/details/80100027
版权

Hive只在一个节点上安装即可

1.  上传tar包

    下载地址：点击打开链接

     Hive版本与Hadoop版本：Hadoop、Hbase、Hive版本兼容性

2.  解压 
tar -zxvf apache-hive-2.2.0-bin.tar.gz  -C ~/software/
mv apache-hive-2.2.0-bin  hive-2.2.0

  接着配置HIVE_HOME环境变量

修改/etc/profile文件。
#vi /etc/profile
增加 
export HIVE_HOME=/home/hadoop/software/hive-2.2.0
修改 
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
保存退出
#source /etc/profile

3.  配置mysql metastore（切换到root用户）

rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm  rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm  修改mysql的密码 /usr/bin/mysql_secure_installation （注意：删除匿名用户，允许用户远程连接） 登陆mysql mysql -u root -p

因为我之前装了Mysql，所以。。。。

   没有MySQL-server-5.1.73-1.glibc23.i386.rpm 和 MySQL-client-5.1.73-1.glibc23.i386.rpm 

  可以在线安装：   sudo apt-get install mysql-server mysql-client

4.配置hive

     cp hive-default.xml.template hive-site.xml 

  或者重命名：

 
mv hive-default.xml.template hive-site.xml
 mv hive-env.sh.template hive-env.sh

配置  hive-env.sh 文件

export HADOOP_HOME=/usr/local/hadoop

# Hive Configuration Directory can be controlled by:
 export HIVE_CONF_DIR=/home/hadoop/software/hive-2.2.0/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
 export HIVE_AUX_JARS_PATH=/home/hadoop/software/hive-2.2.0/lib

下载 mysql-connector-java-8.0.11.jar 地址：   点击打开链接

 将下载的 deb 文件解压，里面就有mysql-connector-java-8.0.11.jar，把这个JAR 包移动到  ~/software/hive-2.2.0/lib  目录下。 修改权限

hadoop@Master:~/software/hive-2.2.0/lib$ chmod 777 mysql-connector-java-8.0.11.jar

配置 hive-site.xml  文件

（删除所有内容）

添加如下内容： 
<configuration>

      <property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://Master:3306/hive?createDatabaseIfNotExist=true</value>
	  <description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	  <description>username to use against metastore database</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>000000fzx</value>
	  <description>password to use against metastore database</description>
	</property>

       <property>  
         <name>hive.metastore.schema.verification</name>  
         <value>false</value>  
       <description>  
    Enforce metastore schema version consistency.  
    True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic  
          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures  
          proper metastore schema migration. (Default)  
    False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.  
         </description>  
      </property>  

</configuration>

5. 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
mysql -u root -p
#(执行下面的语句  *.*:所有库下的所有表   %：任何IP地址或主机都可以连接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
FLUSH PRIVILEGES;


启动  ./hive  问题一

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:614)
	at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:549)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:750)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
	at org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:232)
	at org.apache.hadoop.hive.ql.metadata.Hive.<init>(Hive.java:384)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
	at org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3793)
	at org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:244)
	at org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:227)
	... 14 more
Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
	at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3556)
	at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3528)
	at org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3790)
	... 16 more

解决：

这是由于没有初始化数据库，生成元数据。 
需要执行以下指令(在hive的bin目录下执行) 

./schematool -initSchema -dbType mysql
最后一个参数为hive存放元数据所使用的数据库，我用的是mysql。如果使用derby，将最后的参数改为derby就可以了


启动  ./hive  问题二：

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:614)
	at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:549)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:750)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
	at org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:232)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
	at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1654)
	at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:83)
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1652)
	... 23 more
Caused by: MetaException(message:Version information not found in metastore. )
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:83)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:92)
Caused by: MetaException(message:Version information not found in metastore. )
	at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7754)

解决：

下载 mysql-connector-java-8.0.11.jar 地址：   点击打开链接

 将下载的 deb 文件解压，里面就有mysql-connector-java-8.0.11.jar，把这个JAR 包移动到  ~/software/hive-2.2.0/lib  目录下。 修改权限

hadoop@Master:~/software/hive-2.2.0/lib$ chmod 777 mysql-connector-java-8.0.11.jar
4. 修改conf/hive-site.xml 中的 “hive.metastore.schema.verification”  值为 false  即可解决 “Caused by: MetaException(message:Version information not found in metastore. )”

      conf/hive-site.xml   增加如下内容：

<property>  
   <name>hive.metastore.schema.verification</name>  
   <value>false</value>  
    <description>  
    Enforce metastore schema version consistency.  
    True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic  
          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures  
          proper metastore schema migration. (Default)  
    False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.  
    </description>  
 </property>


fuzuxian
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装Hive遇到的问题
YacFighting的博客
11-09 2573
实验中遇到的问题 实验过程中hive打不开 java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument 原因是hive安装目录下lib内guava.jar和hadoop安装目录下share/hadoop/common/lib内guava.jar版本不一样。解决方法是删除低版本的，并拷贝高版本的。 2.启动hive时报错：Tue Oct 19 16:41:49 CST 2021 WARN: Establis
Hive以及Hive安装部署
望山。
11-15 1972
文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比2.HIVE的安装部署1.derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网访问5.退
Hive安装及问题解决
数据库天地
12-05 144
刚刚安装好hadoop迫不及待要玩下hive，所以自己找了些资料，安装了下hive，这里记录详细的安装过程和碰到的问题： 1.在安装hadoop之前首先确定hadoop已经安装成功，具体安装方法请参考hadoop安装。 2.下载hive版本 我下载的是 下载地址为http://hive.apache.org/releases.htm 解压文件： tar -zxvf hive-0.7.0...
hive安装问题01
With_me
09-19 608
1、首先，请打开HADOOP再启动Hive，我一开始就是这么天真的以为Hive可以单独使用，所以疯狂的报错，出现以下的错误。其实认真看看报错信息就知道是与Hadoop相关（前提是你的hadoop本身真的是可用的）。[hadoop@mini01 bin]$ ./hiveLogging initialized using configuration in jar:file:/home/hadoop/ap
hive 安装问题
紫色的Dandelion的博客
03-05 170
1.目的： 复习安装 hive 以便和kettle 结合使用，安装 hive 出现的错误。 2.执行 sql 语句有警告，例如：show tables;报以下警告。 Tue Mar 05 14:37:52 CST 2019 WARN: Establishing SSL connection without server's identity verification is no...
hive安装及安装过程中的问题
墨殇
07-15 712
前言： hive是基于hadoop的，数据存储在hdfs上并且对客户端提供hql支持，将hql语句转换为mapreduce任务的数仓工具，hive就相当于hadoop的一个另一种形式的客户端 hql，hive的底层是用java实现的！ 一、安装准备： 安装hive之前保证hadoop、zookeeper、jdk 二、安装版本： 主流是1.2和2.3 版本 镜像地址： https://mirrors...
Hive安装与配置及常见问题解决
qq_53114527的博客
10-14 846
Hive简介，以及Hive安装与配置及常见问题解决
Hive安装与配置常见问题解决
qq_53879605的博客
10-14 1314
在之前的文章中介绍了Hadoop集群,本文安装的Hive是基于Hadoop的一个数据仓库工具，并底层依赖与HDFS储存数据，本文将介绍如何安装及其配置。
HIVE2的安装过程以及问题解决
u013623958的专栏
03-25 1047
在安装HIVE的时候遇到了很多问题，在网上也查了很多资料但是有些问题没有明确的解决方法，所以决定自己写一篇关于HIVE安装过程以及我在遇到安装失败时是如何解决的文章。HIVE安装步骤： 在安装HIVE之前，java环境、hadoop以及mysql都应该已经部署完成，在这里不做过多介绍，接下来直入主题。 下载apache-hive-2.1.1-bin.tar.gz(下载地址)并执行命令 tar -
Hive安装mysql时遇到的问题
qq_45255036的博客
03-10 420
Hive安装mysql时遇到的问题 1．查看mysql是否安装，如果安装了，卸载mysql(注意：使用root账户) ​ （1）查看 [root@hadoop102 桌面]# rpm -qa|grep -i mysql 有就卸载 mysql-libs-5.1.73-7.el6.x86_64 ​ （2）卸载 [root@hadoop102 桌面]# rpm -e --nodeps m...
【Hive】安装Hive和MySQL过程中遇到的问题
最新发布
sinat_38650186的博客
03-01 358
Hive安装配置过程中遇到的问题
hive安装MySQL的坑，个人情况(1)
weixin_44489006的博客
05-15 244
1.首先，桥接模式的网络连接，CentOS6.4+VMware 勾选桥接模式 查看自己的网络 勾选桥接端口协议 在Linux文件中配置 因为坑比较大所以都写上 network中本来配的是网关192.168.1.1结果成立如图所示 我觉得下图这个文件是最重要的 配置完成一种失效导致连不上外网 接着 紧接着yum install mysql 开始报错 rying other mirror. http://mirror.lzu.edu.cn/centos/6.10/os/x86_64/repod
Hive安装过程中遇到问题总结
weixin_30273175的博客
04-20 238
Hive安装之后，元数据无法连接 问题一 问题描述：无法在CLASSPATH中找到com.mysql.jdbc.driver，然后ConnectionFactory构建不成功 当配置完配置文件之后，启动Hive，运行show databases; 上述问题。网上搜了搜，说是配置文件的问题，就去检查配置文件，发现自己将com.mysql.jdbc.Driver写成了com.mysql.jdbc.dr...
hive安装(单节点)
大数据
05-31 2102
1.上传tar包 2.解压     tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore（切换到root用户）     配置HIVE_HOME环境变量     rpm -qa | grep mysql     rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps     rpm
CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
热门推荐
david's Blog
05-17 2万+
安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要had
Hive安装和配置及出现的问题和解决方法
Howinfun的博客
12-06 1210
一、安装 1.将hive压缩包放到nodename上, (我们这里就是master) 的/home/hadoop上 2.解压 tar -zxvf apache-hive-1.1.0-bin.tar.gz 3.重命名包 mv apache-hive-1.1.0-bin.tar.gz hive-1.1.0 二、配置 1.配置环境变量 进入环境变量配置目
Hive基础教程：从卸载MySQL到安装
Hive提供了数据汇总、分析以及查询功能，非常适合大数据的离线批处理作业。以下是关于Hive的基础知识： ### 1. Hive架构 Hive由以下几个核心组件组成： - **Hive Client**: 用户交互接口，包括Hive Shell、JDBC/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值