基于CDH5.4的hive与hbase的整合

最新推荐文章于 2021-01-22 19:50:01 发布

大数据部

最新推荐文章于 2021-01-22 19:50:01 发布

阅读量2.6k

点赞数

分类专栏：批量:Hive/Spark/Hbas 文章标签： hive hadoop hbase

本文链接：https://blog.csdn.net/BDCHome/article/details/45499641

版权

批量:Hive/Spark/Hbas 专栏收录该内容

58 篇文章 0 订阅

订阅专栏

本文介绍了如何在CDH5.4环境下整合Hive与HBase，通过添加hive-hbase-handler库，实现了Hive对HBase的实时查询支持。详细步骤包括将jar包复制到HBase的lib目录，并提供了创建Hive-HBase表及数据导入的命令。测试结果显示，Hive和HBase的查询均能正常进行。

摘要由CSDN通过智能技术生成

[Author]: kwu

hbase提供实时查询完好的弥补了hive实时查询的不足，现基于CDH5.4的hive与hbase的整合，已经非常成熟。具体步骤如下：

1、把hive-hbase-handler-1.1.0-cdh5.4.0.jar cp到hbase/lib 下

cp /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase

2、配置hive-site.xml
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/hive-hbase-handler-1.1.0-cdh5.4.0.jar,file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/lib/hbase.jar,file:///opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/lib/zookeeper.jar
</value>
</property>

如果在CM中的配置如图：

注意： hive数据路径下，不在保存数据，而在保存在 hbase路径中

insert大量数据时由于WAL比较慢，可以：
set hive.hbase.wal.enabled=false;

3、相关操作命令

创建hive-hbase表

CREATE TABLE cookiekeyhbase(key string ,cookie string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "cookiekeyhbase");

插入数据

insert into table cookiekeyhbase select key,cookie from cookiekey limit 150;

全量覆盖导入数据：
insert overwrite table cookiekeyhbase select key,cookie from cookiekey ;

测试结果

1） hive的查询正常