阿里云DataX用法

一、结构

 

reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。

framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。

二、支持的数据源

DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据计算系统都已经接入。

 三、用法

在json配置文件编写源文件路径，端口号，文件名，以及目的数据库端口号， 终端运行程序。在MaxCompute中数据回流使用的就是DataX,不过可以直接在UI界面配置源数据库和目的数据库信息，直接运行即可。