DataX的简单试用

  本篇博客之起因是，在做技术选型时，DataX成为了数据同步的候选项。然而并未在实际项目中使用（因项目原因）。仅仅是尝试了一遍，把技术路子走通，并未深入学习。

  博客内容，意在测试，不免简陋。如在真实项目中使用，不管是项目代码编写，还是作业脚本编写，都应该根据实际情况去深入学习、多多优化，以满足真实的使用场景。

---

1. DataX简介

官方介绍：DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

2. 下载部署

2.1 依赖环境：Windows/Linux、JDK 1.8+、Python(2或3)。

2.2 访问项目DataX，简单浏览项目文档。

2.2 两种下载方式：

• 方式一：直接下载DataX工具包：DataX下载地址。
• 方式二：下载DataX源码，自己编译。

2.2 为了方便，我们直接下载工具包，得到datax.tar.gz文件。

2.3 将下载文件加压到本地某个目录，进入bin目录，即可运行同步作业。（说明：DataX解压后即可使用，所以部署很简单）

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

2.4 执行自检脚本，看到如下运行结果，表示部署正常。

# 当前目录datax/bin
$ python datax.py ../job/job.json
……
2024-02-29 15:52:09.374 [job-0] INFO  JobContainer -
任务启动时刻                    : 2024-02-29 15:51:59
任务结束时刻                    : 2024-02-29 15:52:09
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

3. 运行测试脚本

3.1 编写作业脚本，新建json文件，将模板中的示例配置改为自己的实际配置即可。

• 方式一：通过命令查看配置模板，示例如下：

  # 命令格式：python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
  $ python datax.py -r mysqlreader -w mysqlwriter
  

• 方式二：直接查看源码中的文档，如：MysqlReader。

3.2 本人测试所写，用于GreenPlum数据库同步的作业脚本gp2gp.json如下：

{
  "job": {
    "setting": {
      "speed": {
        // 通道数
        "channel": 3,
        //设置传输速度，单位为byte/s，DataX运行会尽可能达到该速度但是不超过它.
        "bps": 1048576
      },
      //出错限制
      "errorLimit": {
        //出错的record条数上限，当大于该值即报错。
        "record": 0,
        //出错的record百分比上限 1.0表示100%，0.02表示2%
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "postgresqlreader",
          "parameter": {
            // 数据库连接用户名
            "username": "",
            // 数据库连接密码
            "password": "",
            "column": [
              "id",
              "name"
            ],
            //切分主键
            // "splitPk": "id",
            "connection": [
              {
                "table": [
                  "cj_user"
                ],
                "jdbcUrl": [
                  "jdbc:postgresql://ip:port/db?currentSchema=schema"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "postgresqlwriter",
          "parameter": {
            "username": "",
            "password": "",
            "column": [
              "id",
              "name"
            ],
            // "preSql": [
            //     "delete from test"
            // ],
            "connection": [
              {
                "jdbcUrl": "jdbc:postgresql://ip:port/db?currentSchema=schema",
                "table": [
                  "zl_user_test"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

3.2 运行作业脚本，命令如下：

# 进入bin目录
$ python datax.py ../job/gp2gp.json

3.3 执行成功后可以到数据库中进行验证，如果执行失败可以在logs目录中查看日志文件。

4. Java项目调用

4.1 因DataX是通过Python脚本启动执行，所以在Java项目中，我们可以提供一个执行Python脚本的工具类方法。
4.2 工具类方法示例代码如下：

package main.java.com.xhp.misc;

import java.io.BufferedReader;
import java.io.InputStreamReader;

/**
 * Java执行DataX脚本
 *
 * @Author xhp
 * @Date 2024/2/28 15:55
 **/
public class DataxTest {
    // datax安装路径
    private static final String dataxPath = "D:\\ProgramData\\BigData\\datax\\bin\\datax.py";

    public static void main(String[] args) {
        // 脚本路径
        String scriptPath = "D:\\ProgramData\\BigData\\datax\\job\\gp2gp.json";
        executeScript(scriptPath);
    }

    /**
     * 执行脚本
     *
     * @param scriptPath
     */
    private static void executeScript(String scriptPath) {

        // cmd命令
        String[] cmd = new String[]{"python", dataxPath, scriptPath};

        ProcessBuilder processBuilder = new ProcessBuilder(cmd);
        try {
            Process process = processBuilder.start();

            // 从进程的标准输出读取数据
            BufferedReader stdOutput = new BufferedReader(new InputStreamReader(process.getInputStream()));
            String line;
            while ((line = stdOutput.readLine()) != null) {
                System.out.println("标准输出: " + line);
            }

            // 从进程的错误输出读取数据
            BufferedReader errorOutput = new BufferedReader(new InputStreamReader(process.getErrorStream()));
            while ((line = errorOutput.readLine()) != null) {
                System.err.println("错误输出: " + line);
            }

            int exitCode = process.waitFor();
            // 根据exitCode判断任务是否成功
            if (exitCode == 0) {
                System.out.println("DataX执行成功");
            } else {
                System.err.println("DataX执行失败，exitCode: " + exitCode);
                // 这里可以进一步处理错误，例如记录日志、发送告警等
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

5. 小结

5.1 DataX还是比较简单易用的，核心工作是在作业JSON文件的编写上。在真实项目里，可以根据配置动态生成对应的脚本文件。
5.2 DataX提供了精准的速度控制和丰富的数据转换功能，还可以自定义转换函数，应能满足常见的使用场景。