Hive整合Hbase

最新推荐文章于 2024-01-25 01:55:23 发布

羙橘

最新推荐文章于 2024-01-25 01:55:23 发布

阅读量410

点赞数 2

文章标签： hive hbase 大数据学习数据仓库

本文链接：https://blog.csdn.net/qq_53114527/article/details/127664444

版权

本文介绍了如何将Hive与HBase进行整合，包括实验原理、整合的意义和详细步骤。通过整合，可以实现Hive加载数据到HBase，支持SQL查询，并用于复杂数据分析。实验步骤包括配置文件修改、库文件复制、映射表创建、数据导入和添加测试。

摘要由CSDN通过智能技术生成

提示：文章内容需要一些前期准备，一定要注意啊!

1.修改hive-site.xml文件以及hive-env.sh文件配置（仅当hbase为集群模式时）

2. 将hbase lib目录下的所有文件复制到hive lib目录中

3. 在hive中创建映射表,创建完成后在hbase中查看是否同时在hbase中也创建成功（创建之前要先启动hbase）

4. 导入数据测试：

5.通过Hbase put添加数据，Hive查看添加数据

三.注意事项

补充：

前言(实验环境准备)

Hive-2.3.3

Hbase-1.3.1

提示：以下是本篇文章正文内容，下面案例可供参考

一.实验原理

Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现

通信原理：

二.整合的意义

（一）通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。

（二）通过整合，让HBase支持JOIN、GROUP等SQL查询语法。

（三）通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。

（四）通过结合，可以设计一个高速写入，后面接入实时分析的海量数据分析系统。

三.实验步骤

1.修改hive-site.xml文件以及hive-env.sh文件配置（仅当hbase为集群模式时）

hive-site.xml：

<property>
    <name>hive.zookeeper.quorum</name>
    <value>node01,node02,node03</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node01,node02,node03</value>
</property>
<property>
    <name>hive.aux.jars.path</name>
    <value>file:///opt/software/hive/lib/hive-hbase-handler-2.3.3.jar,file:///opt/software/hive/lib/zoo
keeper-3.4.10.jar,file:///opt/software/hive/lib/hbase-client-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1-tests.jar,file:///opt/software/hive/lib/hbase-server-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1.jar,file:///opt/software/hive/lib/hbase-protocol-1.3.1.jar,file:///opt/software/hive/lib/htrace-core-3.1.0-incubating.jar
    </value>
</property>