java使用datax

1.官网下载datax（目的是要拿到两个核心jar包）

官网地址：GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

下载解压后得到如下结构：我的解压路径：D:\datax  （这里后面配置要用到）

进入lib文件夹，找到两个关键jar包：

 

2.安装jar包进本地maven仓库

cmd打开命令行执行两条命令：

mvn install:install-file -Dfile=D:\datax\lib\datax-common-0.0.1-SNAPSHOT.jar -DgroupId=com.datax -DartifactId=datax-common -Dversion=0.0.1 -Dpackaging=jar

 

mvn install:install-file -Dfile=D:\datax\lib\datax-core-0.0.1-SNAPSHOT.jar -DgroupId=com.datax -DartifactId=datax-core -Dversion=0.0.1 -Dpackaging=jar

参数说明：

-Dfile的后面输入的为你第三方jar包的本地文件路径，请根据你的jar包路径填写
-DgroupId的后面输入的为maven坐标groupId的标签内容
-DartifactId的后面输入的为maven坐标artifactId的标签内容
-Dversion的后面输入的为maven坐标version的标签内容版本号

注意：-Dfile:填写你的jar包路径，其余不动

3.创建maven项目，进行相关配置

创建好一个maven项目后，pom依赖：

（1）核心依赖：

        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-core</artifactId>
            <version>0.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-common</artifactId>
            <version>0.0.1</version>
        </dependency>

（2）其他依赖

        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.4</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.13</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.12.0</version>
        </dependency>
        
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.fastjson2</groupId>
            <artifactId>fastjson2-extension-spring5</artifactId>
            <version>2.0.35</version>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-api -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
        </dependency>
        
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>RELEASE</version>
        </dependency>

在resources下创建datax脚本

 test.json文件内容如下（根据你的业务进行修改）：

{
  "job": {
    "setting": {
      "speed": {
        "channel": 4
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "你的数据库用户名",
            "password": "你的数据库密码",
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://你的数据库地址（支持其他数据库）"],
                "querySql": ["（查询的sql），如：select id, username from xx"]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "你的数据库用户名",
            "password": "你的数据库密码",
            "writeMode": "update",
            "column": ["id","username","数据库的列，将查询结果与这里的列对应从而进行同步"],
            "connection": [
              {
                "table": [
                  "从表表名"
                ],
                "jdbcUrl": "jdbc:mysql:你的数据库地址（支持其他数据库）"
              }
            ]
          }
        }
      }
    ]
  }
}

 

4.启动类：

import com.alibaba.datax.core.Engine;

public class TestMain {
    public static String getCurrentClasspath(){
        ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
        String currentClasspath = classLoader.getResource("").getPath();
        // 当前操作系统
        String osName = System.getProperty("os.name");
        if (osName.startsWith("Win")) {
            // 删除path中最前面的/
            currentClasspath = currentClasspath.substring(1, currentClasspath.length()-1);
        }
        return currentClasspath;
    }
    
    public static void main(String[] args) {
        // 注意：填写你解压缩datax的路径！！！
        System.setProperty("datax.home","D:\\datax");
        
        String[] datxArgs2 = {"-job", getCurrentClasspath()+"/datax/test.json", "-mode", "standalone", "-jobid", "-1"};
        
        try {
            Engine.entry(datxArgs2);
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

其中要修改的地方：

System.setProperty("datax.home","D:\\datax"); 后面填的是你解压的datax路径！！！

至此，运行即可。可以达到的效果：主表的新增记录或者更新记录都会同步到从表，但是主表删除的记录，执行该同步代码后从表不会将主表已删除的数据删除！！！（主表新增、修改可以与从表同步，但是删除不行，因此建议主表可以采用逻辑删除）