阿里开源DataX

DataX是 阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(Mysql,Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
三大功能
Reader:数据采集模块，负责采集数据源的数据，将数据发送给Framework

Writer:数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。

Framework:用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

运行原理
job：单个任务的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。
Task：由Job切分而来，是DataX任务的最小单元，每个Task负责一部分数据的同步工作。
Schedule:将Task组成TaskGroup,单个TaskGroup的并发数量为5。

TaskGroup：负责启动Task.

liunx安装
1.下载安装

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2.解压

tar -zxvf datax.tar.gz 

3.查看是否可用

bin/datax.py job/jb.json

4.创建一个模板

python bin/datax.py -r streamreader -w streamwriter

5.创建一个oracl读模板和一个mysql写模板