Hbase整合hive

最新推荐文章于 2022-11-04 18:31:01 发布

在下蔡江琪

最新推荐文章于 2022-11-04 18:31:01 发布

阅读量119

点赞数

分类专栏： Hbase

本文链接：https://blog.csdn.net/qq_41848129/article/details/99772227

版权

本文介绍了如何在Hive中创建外部表关联HBase的hbase_emp_table表，通过Hive分析HBase数据。首先，需要将HBase的相关jar包复制到Hive的lib目录下，然后配置hive-site.xml。接着，创建Hive外部表并指定HBase存储处理和列映射，再创建一个中间表加载数据，最后通过insert命令将数据导入到关联表中。成功后，可在Hive和HBase中查看同步的数据。

摘要由CSDN通过智能技术生成

首先进行jar包的复制：复制以下hbase/lib/部分 jar到hive/lib/
hbase-common-1.4.10.jar
hbase-server-1.4.10.jar
hbase-client-1.1.4.10.jar
hbase-protocol-1.4.10.jar
hbase-it-1.1.4.10.jar
htrace-core-3.1.0-incubating.jar
hbase-hadoop2-compat-1.4.10.jar
hbase-hadoop-compat-1.4.10.jar

如果出现不兼容的情况
需要
手动编译：hive-hbase-hander-1.2.2.jar
把这个jar替换掉hive/lib里的那个jar包

修改配置文件hive-site.xml
<property>
<name>hive.zookeeper.quorum</name>
<value>master</value>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
<description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>

(1) 在 Hive 中创建表同时关联 HBase
CREATE TABLE hive_hbase_e