【学习笔记】异构数据源之间的数据同步工具-DataX

【背景】近期一个项目涉及Oracle和阿里巴巴的数据库OceanBase之间数据同步，需要一个工具来实现2种数据源之间的数据同步方案，客户需求是离线同步即可，刚好DataX是开源的，能够满足这个需求。

 

【信息来源】这个博客写得非常好。手打copy一份，加深自己的印象。

https://www.cnblogs.com/jiangbei/p/9430476.html

 

DataX是什么？

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxComputer（ODPS）、OceanBase、DRDS等各种异构数据源之间高效的数据同步功能。

 

开源地址：https://github.com/alibaba/DataX

 

设计架构：

从原来的直接同步方式，变成中间件模式，各数据源只要提供reader和writer即可。

数据交换通过DataX进行中转，任何数据源只要和DataX连接上即可以和已实现的任意数据源同步。

核心组件：

Reader：数据采集模块，负责从源采集数据。

Writer：数据写入模块，负责写