使用 DataX 实现数据同步（高效的同步工具）

DataX 使用介绍

• 前言
• 一、DataX 简介
• • 1.DataX3.0 框架设计
  • 2.DataX3.0 核心架构
• 二、使用 DataX 实现数据同步
• • 1.Linux 上安装 DataX 软件
  • 2.DataX 基本使用
  • 3.安装 MySQL 数据库
  • 4.通过 DataX 实 MySQL 数据同步
  • 5.使用 DataX 进行增量同步

前言

我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：

mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）

存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个小时才同步两千条数据…

后面在网上查看后，发现 DataX 这个工具用来同步不仅速度快，而且同步的数据量基本上也相差无几。

一、DataX 简介

DataX 是阿里云 DataWorks 数据集成 的开源版本，主要就是用于实现数据间的离线同步。 DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。

• 为了 解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源；
• 当需要接入一个新的数据源时，只需要将此数据源对接到 DataX，便能跟已有的数据源作为无缝数据同步。

1.DataX3.0 框架设计

DataX 采用 Framework + Plugin 架构，将数据源读取和写入抽象称为 Reader/Writer 插件，纳入到整个同步框架中。

角色

作用

Reader（采集模块）

负责采集数据源的数据，将数据发送给 Framework。

Writer（写入模块）

负责不断向 Framework 中取数据，并将数据写入到目的端。

Framework（中间商）

负责连接 Reader 和 Writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

2.DataX3.0 核心架构

DataX 完成单个数据同步的作业，我们称为 Job，DataX 接收到一个 Job 后，将启动一个进程来完成整个作业同步过程。DataX Job 模块是单个作业的中枢管理节点，承担了数据清理、子任务切分、TaskGroup 管理等功能。

• DataX Job 启动后，会根据不同源端的切分策略，将 Job 切分成多个小的 Task (子任务)，以便于并发执行。
• 接着 DataX Job 会调用 Scheduler 模块，根据配置的并发数量，将拆分成的 Task 重新组合，组装成 TaskGroup（任务组）
• 每一个 Task 都由 TaskGroup 负责启动，Task 启动后，会固定启动 Reader --> Channel --> Writer 线程来完成任务同步工作。
• DataX 作业运行启动后，Job 会对 TaskGroup 进行监控操作，等待所有 TaskGroup 完成后，Job 便会成功退出（异常退出时 值非 0）

---

DataX 调度过程：

1. 首先 DataX Job 模块会根据分库分表切分成若干个 Task，然后根据用户配置并发数，来计算需要分配多少个 TaskGroup；
2. 计算过程：Task / Channel = TaskGroup，最后由 TaskGroup 根据分配好的并发数来运行 Task（任务）

二、使用 DataX 实现数据同步

准备工作：

• JDK（1.8 以上，推荐 1.8）
• Python（2，3 版本都可以）
• Apache Maven 3.x（Compile DataX）（手动打包使用，使用 tar 包方式不需要安装）

主机名

操作系统

IP 地址

软件包

MySQL-1

CentOS 7.4

192.168.1.1

jdk-8u181-linux-x64.tar.gz datax.tar.gz

MySQL-2

CentOS 7.4

192.168.1.2

安装 JDK：下载地址（需要创建 Oracle 账号）

[root@MySQL-1 ~]# ls
anaco