Sqoop将mysql数据导入HBase

本文介绍了如何在Hadoop 2.7.3、HBase 1.3.1和Sqoop 1.4.7环境下,将MySQL 8.0的数据通过Sqoop导入到HBase中。特别指出,导入时不能使用--direct参数,并且如果没有指定--hbase-create-table,需要预先创建HBase表和列族。文章提供了测试案例,展示了将mysql的customer表导入到hbase的具体步骤和遇到的问题及解决办法。
摘要由CSDN通过智能技术生成

环境

  • Hadoop 2.7.3
  • HBase 1.3.1
  • Sqoop 1.4.7
  • MySQL 8.0

参数

导入HBase的控制参数

参数 描述
–column-family 设置导入的目标列族
–hbase-create-table 目标HBase表不存在时,允许自动创建表
–hbase-row-key (col) 指定将哪个输入的列用作rowkey,如果输入的表包含复合键,则col的格式必须是逗号分割的组合键属性列表
–hbase-table (table-name) 指定作为导入目标的HBase表
hbase-bulkload 启用批量加载

📢注意:
sqoop导入hbase时无法和参数–direct一起使用

如果导入时没有指定–hbase-create-table,则需要在运行前在hbase中创建该表和对应列族,不然在进行导入时会失败。如果指定了–hbase-create-table,则在检测到没有该表时,sqoop会自动创建目标表和列族

测试

1.将mysql中customer表导入到hbase中

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值