使用hive连接hbase

前提说明:一个hive表指向一个hbase表,一对一,不能多对一; 但一个hbase表可以对应多个hive表;

建立外部表

CREATE EXTERNAL TABLE test_hbase(
key string, 
mid string,
gender string,
ct string,
cy string,
pr string,
city string
) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES
("hbase.columns.mapping" = 
":key,i:_id,i:sex,i:ct,i:cy,i:pr,i:city")
TBLPROPERTIES("hbase.table.name" = "test");

说明:

1. hive的表名可以自己定义
2. hive中的字段名可以自定义
3. 建表语句后面的 ***WITH SERDEPROPERTIES*** 指向hbase表中的字段,必须一一对应,第一个字段":key"对应hbase中的rowkey
4. 建表语句后面的 ***TBLPROPERTIES*** 指定 hbase 表名
5. 删除此表不会影响 hbase 中的表
6. 谨慎操作清除数据语句
   1.)可以通过hive的多用户来限定权限
   2.)无法直接delete、truncate table 数据;删除时报:[Error 10297]: Attempt to do update or delete on table es_lable.test_hbase that is not transactional (state=42000,code=10297)
   3.)可以在hive端insert into 数据,在hbase端可以看到,也已通过插入rowkey相同记录覆盖原来的值,相当于update hive表中数据。

   

 

建立内部表

create table hbase2(
rowkey string,
a string, 
b string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITHSERDEPROPERTIES ("hbase.columns.mapping" =":key,cf:a,cf:b")
TBLPROPERTIES  ("hbase.table.name" = "hbase3");

说明:
1.与Hbase外部表的建表语句相比少了一个 EXTERNAL
2.其他方面与建外表的语句相同
3.目前测试时会出错:难道不能将hbase表关联成hive的内部表吗?
ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Table es_lable.hbase2 failed strict managed table checks due to the following reason: Table is marked as a managed table but is not transactional.)

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值