Datax学习及简单使用

一、初识Datax

Windows系统安装Datax可参考 https://blog.csdn.net/weixin_41634597/article/details/116790120

1、Datax是什么？

    Datax是阿里巴巴开源的异构数据源离线同步工具，致力于实现关系型数据库，如Oracle、MySQL等，HDFS、Hive、HBASE、MongoDB、Es、FTP等各种异构数据源之间数据同步功能的稳定高效的实现。

2、Datax支持哪些数据源？

3、Datax与Sqoop的选择

针对Datax和Sqoop的特性，公司具体需求可以对Datax和Sqoop进行比较选择和改造。

功能	Datax	Sqoop
运行模式	单机多线程	MR
MySQL读写	单机压力大，读写容易控制	MR模式重，写错不好处理
Hive读写	单机压力大	很好
文件格式	支持ORC	不支持ORC
分布式	不支持	支持
流控	支持	不支持
统计信息	有部分信息	不支持
数据校验	在core部分有校验	不支持
监控	需定制	需定制
社区	不活跃	活跃

二、Datax架构

1、Datax设计理念

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。
同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

2、Datax框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。
将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

• Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给FrameWork
• Writer：Writer为数据写入模块，负责不断向FrameWork读取数据，并将数据写入到目的端
• FrameWork：FrameWork用于连接Reader和Writer，作为两者的连接通道，并处理缓冲、流控、并发、数据转换等核心技术问题。

3、Datax核心插件

详情插件点击：https://github.com/alibaba/DataX

4、Datax核心架构

• DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
• DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作
• 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
• 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
• DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0。