9.Apache Hive 映射Hbase表出现数据重复

最新推荐文章于 2022-05-14 08:30:45 发布

终回首

最新推荐文章于 2022-05-14 08:30:45 发布

阅读量654

点赞数 1

分类专栏： # Apache Hive # Apache Hbase 文章标签： hive hbase 大数据

本文链接：https://blog.csdn.net/qq_39945938/article/details/115009317

版权

Apache Hive 同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

Apache Hbase

4 篇文章 0 订阅

订阅专栏

一、问题

在hive中创建一个映射hbase的外部表，用来查询hbase的数据。查询hive外部表时发现数据重复。
hbase中的建表语句如下：

create 'hbase_table_name',{NAME=>'0',VERSIONS=>1,BLOCKCACHE=>true,BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY'},{SPLITS => ['0','1','2','3','4','5','6','7','8','9']}

hive创建的外部表sql如下：

CREATE external TABLE hive_table_name(rowkey binary, col string ) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,0:col"
)
tblproperties ("hbase.table.name" = "hbase_table_name", "hbase.mapred.output.outputtable" = "hbase_table_name","");

二、解决

1 修改hbase存储格式为binary

修改hive建表语句为如下

CREATE external TABLE hive_table_name(rowkey binary, col string ) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,0:col"
)
tblproperties ("hbase.table.name" = "hbase_table_name", "hbase.mapred.output.outputtable" = "hbase_table_name","hbase.table.default.storage.type" = "binary");