dataX从mysql导出数据到hbase

业务数据库中存了大量的历史数据，导致在根据业务条件查询数据的时候效率太低。因此考虑将原始的业务数据通过SQL先做一遍处理后放到中间表，然后再把中间表的数据同步到hbase，以后直接从hbase查询数据。当然这个还涉及到增量数据如何同步，如何保证增量数据不丢失等问题，不在这里记录。这里只记录mysql中的数据如何全量同步到hbase。

异构数据源之间的数据迁移工具比较多，常用的有kettle、sqoop、dataX、streamsets等。对于mysql数据迁移到hbase来说，sqoop和dataX的相关资料比较多，因此考虑从这两个下手。

首先是sqoop，作为Hadoop内生的数据迁移工具，对于关系型数据库与hdfs之间的迁移转换支持比较好。机制是将命令转成MapReduce程序进行数据的导入导出。但是从sqoop官网上看，sqoop最近的更新时间是2019年1月18，已经一年多没有维护了。在使用的时候，由于我们使用的hbase是2.1.8版本的，发现在将数据导入到hbase的时候会报错：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>(Lorg/apache/hadoop/conf/Configuration;)V
        at org.apache.sqoop.mapreduce.HBaseImportJob.jobSetup(HBaseImportJob.java:163)
        at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:264)
        at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:673)
        at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:118)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

查看网上类似的问题，发现出现这个问题的都是2.x版本的hbase。这个问题应该是版本不支持导致的。解决方式也有，sqoop导入命令执行的时候会将生成的MapReduce程序打成jar包来运行，因此可以考虑对其进行反编译后，修改不一致的代码。但这样实在是没太大意义。因此我们考虑使用dataX来试试。

 

让人郁闷的是在看dataX得Git库时，发现它对支持的hbase版本只写了0.x和1.x，感觉对2.x也支持。但好在经过尝试发现是支持的。

datax是基于Python2编写的，因此需要配置Python2环境，同时也要jdk环境。具体安装使用教程网上很全面了，不再描述。