从关系库导入数据到hive-hbase表中

最新推荐文章于 2021-06-10 14:40:43 发布

大数据部

最新推荐文章于 2021-06-10 14:40:43 发布

阅读量1.4k

点赞数 1

分类专栏：批量:Hive/Spark/Hbas 文章标签： hive hbase sqoop

本文链接：https://blog.csdn.net/BDCHome/article/details/47950003

版权

本文介绍了如何使用sqoop将数据从关系型数据库导入到Hive和HBase表中，特别强调了对rowkey的特殊处理和更新时间的加入。首先创建Hive和HBase表，然后利用sqoop进行数据迁移，通过设置临时中转表、查询条件、rowkey逆序处理、去重策略以及自定义函数获取当前时间。

摘要由CSDN通过智能技术生成

[Author]: kwu

从关系库导入数据到hive-hbase表中，关系库到hbase中，可以直接由sqoop来导入，但是我们要对rowkey做特殊处理并加入更新时间，则操作步骤如下：

1、创建hive与hbase的表

1）创建hbase表

命令行输入 hbase shell 进入hbase的终端：

create 'location','cf1'

查询hbase创建的表

list

如需删除表

disable 'location'
drop 'location'

2）创建hive的外表

hive -e"
drop TABLE ods.hbase_location;
CREATE EXTERNAL  TABLE ods.hbase_location(key string ,
        ID int comment '唯一ID',
        location1 string  comment '国家代号' ,
        location2 string  comment '省份代号' ,
        location3 string  comment '城市代号',
        country string  comment '国家(中文)&#