从关系库导入数据到hive-hbase表中

[Author]: kwu

从关系库导入数据到hive-hbase表中,关系库到hbase中,可以直接由sqoop来导入,但是我们要对rowkey做特殊处理并加入更新时间,则操作步骤如下:

1、创建hive与hbase的表

1)创建hbase表

命令行输入 hbase shell 进入hbase的终端:

create 'location','cf1'

查询hbase创建的表

list

如需删除表

disable 'location'
drop 'location'



2)创建hive的外表

hive -e"
drop TABLE ods.hbase_location;
CREATE EXTERNAL  TABLE ods.hbase_location(key string ,
        ID int comment '唯一ID',
        location1 string  comment '国家代号' ,
        location2 string  comment '省份代号' ,
        location3 string  comment '城市代号',
        country string  comment '国家(中文)&#
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Sqoop是一款用于在Hadoop集群和关系数据之间高效地传输数据的工具。它可以将关系数据中的数据导入到Hadoop生态系统中的各种工具,如HDFS、HiveHBase等。下面是使用Sqoop数据关系数据导入Hive的步骤: 1. 首先需要确保Hadoop和Hive已经安装并正常运行。 2. 然后需要在Hive中创建一个表,用于存储从关系数据导入数据。可以使用Hive的CREATE TABLE语句来创建表。 3. 接下来,需要使用Sqoop的import命令来将数据关系数据导入Hive中。Sqoop的import命令语法如下: ``` sqoop import --connect jdbc:mysql://mysql.example.com/dbname \ --username myuser \ --password mypassword \ --table mytable \ --hive-import \ --hive-table myhive_table \ --create-hive-table \ --fields-terminated-by ',' \ --lines-terminated-by '\n' ``` 其中,--connect指定了要连接的关系数据的URL;--username和--password指定了要用于连接数据的用户名和密码;--table指定了要导入关系数据中的表的名称;--hive-import指定了要将数据导入Hive中;--hive-table指定了要将数据导入到的Hive表的名称;--create-hive-table指定了在Hive中创建新表;--fields-terminated-by和--lines-terminated-by指定了导入数据时使用的字段和行分隔符。 4. 运行上述Sqoop命令后,数据将被导入Hive表中。可以使用Hive的SELECT语句来查询导入数据

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值