Hive与Hbase的整合

Hive与Hbase的整合

Hive版本是2.1.1，Hbase版本是1.4.3

1. Hbase表映射到Hive表中

1.1 Hive的配置文件修改

1.1.1 修改hive-site.xml配置文件，添加配置属性

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>server01:2181,server02:2181,server03:2181</value>
</property>

1.1.2 修改hive-env.sh文件

# 添加一个环境变量
export HIVE_CLASSPATH=$HIVE_CLASSPATH:/hadoop/hbase/lib/*

1.2 Hbase数据创建

1.2.1 在hbase中创建表，表名为hbase_test，有三个列族，分别为f1,f2,f3

create 'hbase_test',{NAME => 'f1',VERSION => 1},{NAME => 'f2',VERSION => 1},{NAME => 'f3',VERSION => 1}

1.2.2 向hbase_test表中插入数据

put 'hbase_test','001','f1:name','liubei'
put 'hbase_test','001','f2:age','30'
put 'hbase_test','001','f3:sex','male'

put 'hbase_test','002','f1:name','guanyu'
put 'hbase_test','002','f2:age','28'
put 'hbase_test','002','f3:sex','female'

put 'hbase_test','003','f1:name','zhangfei'
put 'hbase_test','003','f2:age','27'
put 'hbase_test','003','f3:sex','male'

1.2.3 scan查询

scan 'hbase_test'

1.3 Hive创建数据库，关联Hbase

1.3.1 创建Hive表

# 这里使用的是外部表，即便是删除hive表，Hbase的数据也存在

CREATE EXTERNAL TABLE hiveFromHbase(
rowkey string,
f1 map<STRING,STRING>,
f2 map<STRING,STRING>,
f3 map<STRING,STRING>
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:")
TBLPROPERTIES ("hbase.table.name" = "hbase_test");

• hbase.columns.mapping：Hive表和HBase表的字段映射关系。

  分别为：Hive表中第一个字段映射:key(rowkey)，第二个字段映射列族f1，第三个字段映射列族f2,第四个字段映射列族f3

• hbase.table.name：hbase表名称。

1.3.2 使用hive的HQL语句查询

select *  from hivefromhbase;

1.3.3 Hive插入数据到Hbase表

insert into table hivefromhbase
select '004' as rowkey,
map('name','caocao') as f1,
map('age','34') as f2,
map('sex','male') as f3
from person;

1.3.4 Hbase中查询数据

scan 'hbase_test'

---

2. Hive表映射到Hbase中

2.1 在Hive中创建名称为hive_test的表

create table hive_test(
id string,
name string,
age int,
)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f2:age,f3:address")
TBLPROPERTIES ("hbase.table.name" = "hbasefromhive");

2.2 在Hbase中查看是否有hbasefromhive表生成

list

2.3 查看hbase的表结构

desc 'hbasefromhive'

2.4 将数据插入Hive的hive_test中

load data local inpath '/home/hadoop/student.txt' overwrite into table person;

2.5 查看Hive的hive_test表信息

select *  from hive_test;

2.6 查看Hbase中的表信息

scan 'hbasefromhive'