title: 解决hive集成hbase报错
date: 2023-10-31 00:35:49
categories:
- 大数据技术
tags:
目录
环境介绍
- Linux: Ubuntu 16.04 LTS
- hadoop2.7
- hive1.2.1
- hbase 1.1.5
注意: 这个版本的不对应是主要原因!!!
. 前提准备工作
-
开始
1.1 检查自己的版本是否对应上
-
这里是查看我的虚拟环境的版本
-
在这里可以看出我们的hive和hbase都是1点多版本,不对应,我们要使用hive2.1.0以上版本
1.2 下载hive2.1.0版本,这里我已经提供了链接
- hbase2.1.0包 https://cloud.189.cn/t/Qzae2qiAFnqi (访问码:a8ls)
- mysql-connector-java-5.1.40-bin.jar https://cloud.189.cn/t/BvIzUv2qy6fm (访问码:lor3)
- 栋哥处理后的数据集:https://cloud.189.cn/t/maQJZjEZfYVb (访问码:lw7y)
1.3 重启虚拟机
1.4 关闭mysql服务
service mysql stop #关闭mysql服务
-
解决问题
注意: 开始解决问题
-
我们把这两个包放在本地,进行解压缩
sudo tar -zxvf ./apache-hive-2.1.0-bin.tar.gz -C /usr/local cd /usr/local/ sudo rm -r hive # 删除以前的版本hive1.2.1 sudo mv apache-hive-2.1.0-bin hive # 将文件夹名改为hive sudo chown -R hadoop:hadoop hive
-
运行如下命令使配置立即生效:
source ~/.bashrc
-
修改/usr/local/hive/conf下的hive-site.xml
- 执行如下命令:
cd /usr/local/hive/conf mv hive-default.xml.template hive-default.xml
上面命令是将hive-default.xml.template重命名为hive-default.xml;
然后,使用vim编辑器新建一个配置文件hive-site.xml,命令如下:
cd /usr/local/hive/conf
vim hive-site.xml
在hive-site.xml中添加如下配置信息:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>