hive和hbase结合

最新推荐文章于 2022-09-20 20:19:23 发布

franklyna

最新推荐文章于 2022-09-20 20:19:23 发布

阅读量274

点赞数

本文链接：https://blog.csdn.net/franklyna/article/details/81284117

版权

本文详细介绍了如何配置Hive以实现与HBase的集成，包括将HBase相关jar包添加到Hive库，修改hive-site.xml配置文件，以及设置Hive环境变量。接着，通过实验展示了如何在Hive中创建与HBase表对应的临时表，并进行数据插入。此外，还探讨了Hive映射HBase的多种方式，包括单列族、多列族、Map类型映射以及复合行键的使用，并强调了在使用过程中需要注意的事项。

摘要由CSDN通过智能技术生成

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询

Hive和HBase集成的配置

1 将hbase 相关jar包拷贝到hive lib目录下

hive-2.3.3/lib/hbase-server-1.1.1.jar,hive-2.3.3/lib/hbase-client-1.1.1.jar,hive-2.3.3/lib/hive-hbase-handler-2.2.0.jar,hive-2.3.3/lib/zookeeper-3.4.6.jar

2 修改hive的主配置文件conf/hive-site.xml

A: 修改hive.aux.jars.path属性，为属性添加hive和hbase集成所需要jar文件，注意必须通过file://指定本地文件，否则将会在hdfs上的路径中查询

<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hive-2.3.3/lib/hbase-server-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/h
base-client-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/hive-hbase-handler-2.2.0.jar,file:///home/hadoop
/hive-2.3.3/lib/zookeeper-3.4.6.jar</value>

</property>

B: 修改hive.zookeeper.quorum属性, 当hive和hbase集成时使用zookeeper调控服务

<property>
<name>hive.zookeeper.quorum</name>
<value>ping1,ping2,ping4</value>

</property>

C：添加hbase.zookeeper.quorum属性，当前集成的hbase是集群，hive在集成该hbase集群需要通过zookeeper调控服务

<property>
<name>hbase.zookeeper.quorum</name>
<value>ping1,ping2,ping4</value>
</property>

D：修改hive环境配置hive-env.sh

添加 export HADOOP_HOME=/home/hadoop/hadoop-2.9.0

export HBASE_HOME=/home/hadoop/hbase-1.2.6

export HIVE_CONF_DIR=/home/hadoop/hive-2.3.3/conf

# export HIVE_AUX_JARS_PATH=?

实验一：在hive创建hbase对应的临时表，通过向hive中的临时表插入文件，完成操作hbase对应表的数据