DataX理论知识：简介-框架设计-数据抽取策略

一、简介

DataX 是一个 异构数据源 离线同步工具。可实现 各种 异构数据源 之间 稳定高效的数据同步功能。

设计理念：从 蜘蛛网 到 星型链路，DataX充当一个中转站的角色。

二、框架设计

Reader ：数据采集模块，负责采集数据源的数据，并发送给 Framework。
Framework(channel)：数据传输管道。
Writer：数据写入模块，负责不断从管道获取数据，并写入目的端。

三、数据抽取策略

小表 —— 周期性全量抽取。
大表 —— 每天增量抽取。