hive搭建

最新推荐文章于 2024-09-06 19:14:58 发布

星华先生

最新推荐文章于 2024-09-06 19:14:58 发布

阅读量3.2k

点赞数

分类专栏： java 文章标签： hive hadoop mysql

本文链接：https://blog.csdn.net/ct1104/article/details/123530834

版权

java 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文详细介绍了在Hadoop环境下配置Hive的过程，包括切换MySQL作为元数据数据库，解决Hive与Hadoop依赖冲突，以及启动Hive时遇到的安全权限问题。在解决权限问题时，需要在Hadoop的配置文件中设置`hadoop.proxyuser`属性以允许特定用户进行伪装。此外，还提到了Hive启动和连接Hiveserver2时可能遇到的错误及其解决方案。

摘要由CSDN通过智能技术生成

step:
1.准备好hadoop环境
2.准备MySQL环境（因为hive的元数据数据库是derby 不能多用户操作(在不同目录底下启动hive derby将在该目录底下创建数据库文件但不同目录数据不互通) 所以切换MySQL作为元数据数据库）
3.创建源数据库metastore
4.安装hive并配置hive的安装环境（解决架包冲突mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak）
5.将mysql的jdbc驱动加入hive的lib目录底下
6.在hive的目录conf底下新建文件hive-site.xml
7.初始化

error:
1.Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
reason:
1.HIVE和HADOOP内置的jar包版本(guava-19.0.jar )不一致导致
- /usr/local/hive/lib/ （hive架包目录）
- /usr/local/hadoop/share/hadoop/common/lib/ （Hadoop架包目录）
solve: 1.高版本覆盖低版本

start hive
1.bin/hive
2.开启元数据服务（前台）再去连接
3.开启元数据服务再开启hiveserver2 通过jdbc的形式连接
error:
Could not open client transport with JDBC Uri: jdbc:hive2://127.0.0.1:10000/test:
Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException
(org.apache.hadoop.security.authorize.AuthorizationException): User: tanzhengqiang is not allowed to impersonate hive (state=08S01,code=0)
reason:
hadoop引入了一个安全伪装机制，使得hadoop 不允许上层系统直接将实际用户传递到hadoop层，而是将实际用户传递给一个超级代理，由此代理在hadoop上执行操作，避免任意客户端随意操作hadoop
solve：
在etc/hadoop/core-site.xml文件中修改为如下方式即可解决：
<property>
<name>hadoop.proxyuser.tanzhengqiang.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.tanzhengqiang.groups</name>
<value>*</value>
</property>