Hive----HBase

最新推荐文章于 2023-04-25 10:31:09 发布

luckboy0000

最新推荐文章于 2023-04-25 10:31:09 发布

阅读量104

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/llLucky_BOY_/article/details/116263299

版权

笔记专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本文详细介绍了如何建立Hive与HBase的连接，包括创建软链接，修改hive-site.xml配置，替换特定jar包，并展示了创建和操作HBase外部表的SQL语句。通过这些步骤，可以实现Hive对HBase数据的存储和查询。

摘要由CSDN通过智能技术生成

连接配置

1.给hive建立hbase的jar包的软链接

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar

2.修改增加hive-site.xml

<property>
<name>hive.zookeeper.quorum</name>
<value>testmachine</value>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>

3.替换jar包

将hive-hbase-handler-1.3.1.jar 替换成hive-hbase-handler-1.2.1.jar

建立hive关联hbase的表

CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

向这个表添加数据

 insert into table hive_hbase_emp_table select * from emp;

建立数据在hbase的外部表

CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");