DataX3.0框架设计
DataX框架,采用Framework + plugin架构构建。
1.将数据源读取抽象成为Reader插件
2.将数据源写入抽象成为Writer插件
3.并将Reader插件和Writer插件纳入到Framework中。
Reader:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。
Writer: Writer为数据写入模块,负责不断从Framework取数据,并将数据写入到目的端。
Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。
DataX3.0插件体系
DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,
目前已支持的插件如下:
类型 | 数据源 | Reader插件 | Write插件 |
RDBMS关系型数据库 | MySQL | 是 | 是 |
Oracle | 是 | 是 | |
SQLServer | 是 | 是 | |
PostgreSQL | 是 | 是 | |
DRDS | 是 | 是 | |
通用RDBMS | 是 | 是 | |
NoSQL数据存储 | OTS | 是 | 是 |
Habse1.1 | 是 | 是 | |
MongoDB | 是 | 是 | |
Hive | 是 | 是 | |
无结构化数据存储 | TxtFile | 是 | 是 |
FTP | 是 | 是 | |
HDFS | 是 | 是 | |
Elasticsearch | 否 | 是 |
DataX3.0核心架构
DataX 3.0 开源版本支持单机多线程模式完成同步作业运行,
下图是一个Job作业生命周期的时序图,从整体架构设计说明DataX各个模块相互关系。
核心模块介绍:
1.DataX完成单个数据同步的作业,我们称之为Job,DataX接受到一个Job之后,将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点,承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
2.DataXJob启动后,会根据不同的源端切分策略,将Job切分成多个小的Task(子任务),以便于并发执行。Task便是DataX作业的最小单元,每一个Task都会负责一部分数据的同步工作。
切分多个Task之后,DataX Job会调用Scheduler模块,根据配置的并发数据量,将拆分成的Task重新组合,组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task,默认单个任务组的并发数量为5。
3.每一个Task都由TaskGroup负责启动,Task启动后,会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
4.DataX作业运行起来之后, Job监控并等待多个TaskGroup模块任务完成,等待所有TaskGroup任务完成后Job成功退出。否则,异常退出,进程退出值非0