HBase学习(六) HBase与Hive集成

---

结合的理由

• 通过 Hive 与 HBase 整合，可以将 HBase 的数据通过 Hive 来分析，让HBase 支持 JOIN、GROUP等SQL 查询语法。
• 实现将批量数据导入到 HBase 表中

hive文件配置

在hive-site.xml文件中加入以下信息

在hive-env.sh文件中加入

Hbase文件配置

hbase-env.sh下添加

hbase-site.xml下有以下内容

能成功将hive和 hbase启动并且hbase的hmaster不会挂掉说明,最后会讲一下碰到挂掉怎么处理
配置环境变量

导入依赖

将hbase文件夹下的lib中的jar放入hive的lib文件夹中
导入的jar都在下边可以一个个找,也可以直接将hbase的lib中所有的包都放入hive的lib下

测试

启动

将hadoop,zookeeper,hive,hbase全启动

先测试hive

创建表

启动hive

create table hive_hbase_test1(key int,value string)
stored by'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with
serdeproperties("hbase.columns.mapping"=":key,cf1:val")
tblproperties("hbase.table.name"="hive_hbase_test");

进入hbase查看是否存在映射表

插入数据

用Hive导入数据，Hbase查看数据

创建一个txt作为测试数据

 create table hbase_test(key int,value string)row format delimited fields terminated by '\t';

load data local inpath'/root/hive_test/test.txt'overwrite into table hbase_test;

将hive的hbase_test表中的数据加载到hive_hbase_test1表，并利用hbase查看

insert overwrite table hive_hbase_test1 select * from hbase_test;
select * from hive_hbase_test1;

进入hbase scan查看

通过Hbaseput添加数据，Hive查看添加数据

 put'hive_hbase_test','100','cf1:val','laosiji'

Hive查看

相关问题

1. hbase的hmaster启动一会就挂掉的问题

删除hdfs上的/hbase

删除zookeeper上的hbase节点信息


重启zookeeper、hadoop和hbase

2. select * from出现闪退出hive问题
   将hive下的guava较小的jar包删除