引言
本文将接着上一篇博文继续介绍剩下的几种HBase数据导入方法。分别是:
- MapReduce Job(TableReducer)
- Importtsv(unbulk load)
- bulk load(Importtsv | MapReduce Job)
- Sqoop
下面依次介绍这些方法:
1.MapReduce Job(TableReducer)
借助编程MapReduce Job进行HBase数据导入的方法有很多,本文只简单介绍其中一种方法。步骤如下:
- 编写JDBC接口将数据从关系型数据库中导出到本地,格式:一行对应表的一条record
- 将本地文件导入到HDFS
- 编写MapReducer Job,Reduce类继承TableReducer,实现HBase数据导入
步骤1上一篇博文中已经给出示范代码,只需要实现数据按照固定格式写入本地即可,这里就不赘述了。
步骤2只需要一条HDFS命令行指令即可:~$hadoop fs -put sourcePath targetPath
步骤3需要自行编写MapReduce程序。例如:
public static class Reduce extends TableReducer<LongWritable,Text,ImmutableBytesWritable>{
@Override
protected void reduce(LongWritable key, Iterable<Text> values,Con