HIVE整合HBASE

目录

一、实验环境准备

二、Hive整合HBase原理

三、整合的意义

四、实验步骤

 1.修改hive-site.xml文件以及hive-env.sh文件配置

2. 将hbase lib目录下的所有文件复制到hive lib目录中

3. 在hive中创建映射表

4. 导入数据测试

5.通过Hbase put添加数据，Hive查看添加数据 

---

一、实验环境准备

Hive版本 Hive-2.3.3

Hbase的版本Hbase-1.3.1

hadoop、zookeeper、jdk

开启相关集群

二、Hive整合HBase原理

        Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现。

        Hive和HBase通信原理如下图：

三、整合的意义

1.Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句。

2.通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduce任务运行，但是Hive不能够进行交互查询——它只能够在Haoop上批量的执行Map/Reduce任务。

3.Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

4.Hbase是Hadoop database 的简称，是一种NoSQL数据库，非常适用于海量明细数据（十亿、百亿）的随机实时查询，如交易清单、轨迹行为等。

5.在大数据架构中，Hive和HBase是协作关系，Hive方便地提供了Hive QL的接口来简化MapReduce的使用， 而HBase提供了低延迟的数据库访问。如果两者结合，可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。

四、实验步骤

 1.修改hive-site.xml文件以及hive-env.sh文件配置

        注：仅当hbase为集群模式时

 hive-site.xml

<property>
    <name>hive.zookeeper.quorum</name>
    <value>node01,node02,node03</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node01,node02,node03</value>
</property>
<property>
    <name>hive.aux.jars.path</name>
    <value>file:///opt/software/hive/lib/hive-hbase-handler-2.3.3.jar,file:///opt/software/hive/lib/zoo
keeper-3.4.10.jar,file:///opt/software/hive/lib/hbase-client-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1-tests.jar,file:///opt/software/hive/lib/hbase-server-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1.jar,file:///opt/software/hive/lib/hbase-protocol-1.3.1.jar,file:///opt/software/hive/lib/htrace-core-3.1.0-incubating.jar
    </value>
</property>

 hive-env.sh

2. 将hbase lib目录下的所有文件复制到hive lib目录中

注：先删除hive/lib目录下hbase开头的jar包

3. 在hive中创建映射表

注：创建之前要先启动hive，创建完成后在hbase中查看表是否同时存在，存在即创建成功

 在hive里创建一个映射表

     创建

         list

在 hbase 服务里使用命令同样可以查到 hbase_score 表，即整合成功。

4.测试

创建数据表并导入数据测试

 

      数据

 

导入

 

插入数据到 hbase 的表中

insert overwrite table hive_hbase_test select * from test;

 

create table hive_hbase_test(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:name") tblproperties("hbase.table.name"="hive_hbase_test");

 

5.通过Hbase put添加数据，Hive查看添加数据 

（1)在hbase shell中对表hive_hbase_test添加数据

put 'hive_hbase_test','4','cf1:name','mipeng'

 

（2）在hive中查看数据是否添加进来