大数据技术之DataX

        DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

组织结构  ： 

 核心原理 ： 

 面试重点 ：   

        用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到HDFS里面。 DataX的调度决策思路是：

1.  DataXJob根据分库分表切分成了100个Task。

2.  根据20个并发，DataX计算共需要分配4个TaskGroup。

3.  4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

接入的部分数据源 ： 

                                                   数据同步工具的比较 

DataX  /  Sqoop的对比 :