DataX3.0的介绍、安装与使用

DataX官方概述

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库（Mysql、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

• 当前使用现状

  DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了6年之久。目前每天完成同步8w多道作业，每日传输数据量超过300TB。

DataX3.0框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

• Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
• Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
• Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

DataX的windows安装

1. 检测运行环境：   jdk (1.6以上)    java -version        python (2.6以上)   python --version
2. DataX3.0下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
3. 将下载好的DataX3.0的压缩包进行解压到指定的目录
4. 进入到DataX3.0的bin目录下执行命令：python datax.py ../job/job.json
5. 得到以下结果：

   

   如果满足5的结果，说明DataX能够正常使用了。

DataX3.0的使用

我们配置一组从Mysql数据库到另一个Mysql数据库的例子：

• 创建所要执行的配置文件（json格式，在bin目录下创建即可）
• 可以通过命令来查看配置模板 ：python datax.py -r mysqlreader -w mysqlwriter

  

  也可以通过GitHub地址查看文档

• 根据配置文件模板填写相关内容

具体配置文件mysqlTomysql.json的内容如下（从一个mysql数据库到另一个mysql数据库的例子）

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "20142266",
                        "column": [
                            "id",
                            "name",
							"password",
							"phone"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "tb_user1"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://127.0.0.1:3306/db_user1"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "20142266",
                        "column": [
                            "id",
                            "name",
							"password",
							"phone"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/db_user2?useUnicode=true&characterEncoding=gbk",
                                "table": [
                                    "tb_user2"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

最后一步就是启动DataX: python datax.py ./mysqlTomysql.json

本人公众号