【Hive】如何在 Hive 中创建外部表映射 Hbase 中已存在的表

最新推荐文章于 2023-08-06 15:29:21 发布

云祁

最新推荐文章于 2023-08-06 15:29:21 发布

阅读量5k

点赞数 4

分类专栏： # ---- Hive 文章标签： hive

本文链接：https://blog.csdn.net/BeiisBei/article/details/104932532

版权

---- Hive 专栏收录该内容

37 篇文章 32 订阅

订阅专栏

本文详细介绍了如何在Hive中集成HBase，包括上传jar文件、配置hive-site.xml和hive-env.sh、创建关联表及外部表、注意事项等关键步骤，确保数据在Hive与HBase间顺畅流动。

摘要由CSDN通过智能技术生成

文章目录

一、上传完整的jar文件到hive/lib中

删除hive/lib下所有文件
解压上传hive所有的jar到该目录下

二、修改hive-site.xml

    <name>hbase.zookeeper.quorum</name>
    <value>ghym,ghys1,ghys2</value>#自定义的zookeeper集群电脑名与hbase建立联系
    <name>hive.zookeeper.quorum</name>
    <value>ping1,ping2,ping4</value>#自定义的zookeeper集群电脑名与hive建立联系
    <name>hive.aux.jars.path</name>#将jar文件的位置指定为本地目录,否则默认在HDFS上寻找jar
    <value>file:///home/hadoop/hive-2.3.3/lib/hbase-server-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/hbase-client-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/hive-hbase-handler-2.2.0.jar,file:///home/hadoop/hive-2.3.3/lib/zookeeper-3.4.6.jar</value>

三、修改hive-env.sh

export HADOOP_HOME=/home/hadoop/hadoop-2.9.0#hadoop目录
export HBASE_HOME=/home/hadoop/hbase-1.2.6#hbase目录
export HIVE_CONF_DIR=/home/hadoop/hive-2.3.3/conf#hive配置文件目录

四、在hive和hbase中分别创建相关联的表并通过hive向hbase表中加载数据

CREATE TABLE hive表名(key int, value1 string, value2 int,...)#hive表列名和数据类型 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,a:b,a:c,..."#hbase表rowkey,列族:列名
)TBLPROPERTIES(
"hbase.table.name"="hbase表名",
"hbase.mapred.output.outputtable"="hbase表名"
);
#不支持load data命令,通过insert从其他表查询数据加载
insert overwrite table hive表名 select eno,ename,... from emp;

关键字

STORED BY 表示使用hive配置中的类完成向hbase中存储数据
WITH SERDEPROPERTIES 表示创建hive临时对应hbase表的列族名称
TBLPROPERTIES 表示对应hbase中表的名称
hbase.mapred.output.outputtable表示mapreduce操作向hbase表中输出

五、在hive中创建外部表映射hbase中已存在的表

CREATE EXTERNAL TABLE hive表名(key int, value1 string, value2 int,...)#hive表列名和数据类型 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,a:b,a:c,..."#hbase表rowkey,列族:列名
)TBLPROPERTIES(
"hbase.table.name"="hbase表名",
"hbase.mapred.output.outputtable"="hbase表名"
);