基于CDH5.4的hive与hbase的整合

本文介绍了如何在CDH5.4环境下整合Hive与HBase,通过添加hive-hbase-handler库,实现了Hive对HBase的实时查询支持。详细步骤包括将jar包复制到HBase的lib目录,并提供了创建Hive-HBase表及数据导入的命令。测试结果显示,Hive和HBase的查询均能正常进行。
摘要由CSDN通过智能技术生成

[Author]: kwu 

hbase提供实时查询完好的弥补了hive实时查询的不足,现基于CDH5.4的hive与hbase的整合,已经非常成熟。具体步骤如下:

1、把hive-hbase-handler-1.1.0-cdh5.4.0.jar  cp到hbase/lib 下

cp /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase


2、配置hive-site.xml
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/hive-hbase-handler-1.1.0-cdh5.4.0.jar,file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/lib/hbase.jar,file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/lib/zookeeper.jar
</value>
</property>

如果在CM中的配置如图:



注意: hive数据路径下,不在保存数据,而在保存在 hbase路径中


insert大量数据时由于WAL比较慢,可以:
set hive.hbase.wal.enabled=false;


3、相关操作命令

创建hive-hbase表

CREATE TABLE cookiekeyhbase(key string ,cookie string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "cookiekeyhbase");


插入数据

insert into table cookiekeyhbase select key,cookie  from cookiekey limit 150;


全量覆盖导入数据:
insert overwrite table cookiekeyhbase select key,cookie  from cookiekey ;


测试结果

1) hive的查询正常


2)hbase中的查询正常


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值