HBase数据导入方法总结(续)


引言

本文将接着上一篇博文继续介绍剩下的几种HBase数据导入方法。分别是:

  • MapReduce Job(TableReducer)
  • Importtsv(unbulk load)
  • bulk load(Importtsv | MapReduce Job)
  • Sqoop

下面依次介绍这些方法:

1.MapReduce Job(TableReducer)

借助编程MapReduce Job进行HBase数据导入的方法有很多,本文只简单介绍其中一种方法。步骤如下:

  • 编写JDBC接口将数据从关系型数据库中导出到本地,格式:一行对应表的一条record
  • 将本地文件导入到HDFS
  • 编写MapReducer Job,Reduce类继承TableReducer,实现HBase数据导入

步骤1上一篇博文中已经给出示范代码,只需要实现数据按照固定格式写入本地即可,这里就不赘述了。
步骤2只需要一条HDFS命令行指令即可:~$hadoop fs -put sourcePath targetPath
步骤3需要自行编写MapReduce程序。例如:

public static class Reduce extends TableReducer<LongWritable,Text,ImmutableBytesWritable>{
    @Override
    protected void reduce(LongWritable key, Iterable<Text> values,Con
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值