datax简单入门介绍以及部分概念

datax初步认识：

1，我们先来了解一下，datax是什么，它是用来干嘛的？

datax是一个离线采集异构数据源工具，支持将源头数据源（后面简称reader）数据采集到目标数据源（后面简称writer），主要作用是将数据从一头拉倒另外一头，期间支持简单数据过滤，规整，，目前datax支持多种reader和writer，包括但不仅限于mysqlreader，oraclereader，ftpreader，mysqlwriter，oraclewriter，ftpwriter。具体可以查看(https://github.com/alibaba/DataX)；

2，接下来我们大致了解一下datax数据交换模式

datax采用插件模式设计，reader与reade之间，reader与writer之间完全解耦，可做到互不影响。datax有三大部分，reader，writer，channel，reader和writer间依赖channel传输数据，reader通过recordSender.sendtoWriter()往channel写入数据，writer通过recordReceiver.getFromReader()从channel拉取数据，channel的底层是一个队列，先进先出（应该是，这里没仔细看源码做确认）。正是由于这插件模式，我们之后自定义开发插件的时候只需要实现插件本身的逻辑+往channel写数据或从channel拿数据即可，其他的交给框架，这就大大方便我们自定义开发插件了，后面我会详细讲解怎样自定义开发插件，建议先学会用datax采集数据之后，再考虑自定义开发插件。

datax部分概念：

Job: Job是DataX用以描述从一个源头到一个目的端的同步作业，是DataX数据同步的最
小业务单元。比如：从一张mysql的表同步到odps的一个表的特定分区。 Task:
Task是为最大化而把Job拆分得到的最小执行单元。比如：读一张有1024个分表的
mysql分库分表的Job，拆分成1024个读Task，用若干个并发执行。 TaskGroup:
描述的是一组Task集合。在同一个TaskGroupContainer执行下的Task集合称之为TaskGroup
JobContainer: Job执行器，负责Job全局拆分、调度、前置语句和后置语句等工作的工作单元。类似Yarn中的JobTracker
TaskGroupContainer: TaskGroup执行器，负责执行一组Task的工作单元，类似Yarn中的TaskTracker。