java使用datax

1.官网下载datax(目的是要拿到两个核心jar包)

官网地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

下载解压后得到如下结构:我的解压路径:D:\datax  (这里后面配置要用到)

进入lib文件夹,找到两个关键jar包:

 

2.安装jar包进本地maven仓库

cmd打开命令行执行两条命令:

mvn install:install-file -Dfile=D:\datax\lib\datax-common-0.0.1-SNAPSHOT.jar -DgroupId=com.datax -DartifactId=datax-common -Dversion=0.0.1 -Dpackaging=jar

 

mvn install:install-file -Dfile=D:\datax\lib\datax-core-0.0.1-SNAPSHOT.jar -DgroupId=com.datax -DartifactId=datax-core -Dversion=0.0.1 -Dpackaging=jar

参数说明:

-Dfile的后面输入的为你第三方jar包的本地文件路径,请根据你的jar包路径填写
-DgroupId的后面输入的为maven坐标groupId的标签内容
-DartifactId的后面输入的为maven坐标artifactId的标签内容
-Dversion的后面输入的为maven坐标version的标签内容版本号

注意:-Dfile:填写你的jar包路径,其余不动

3.创建maven项目,进行相关配置

创建好一个maven项目后,pom依赖:

(1)核心依赖:

        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-core</artifactId>
            <version>0.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.datax</groupId>
            <artifactId>datax-common</artifactId>
            <version>0.0.1</version>
        </dependency>

(2)其他依赖

        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.4</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.13</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.12.0</version>
        </dependency>
        
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.fastjson2</groupId>
            <artifactId>fastjson2-extension-spring5</artifactId>
            <version>2.0.35</version>
        </dependency>
        
        <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-api -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
        </dependency>
        
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>RELEASE</version>
        </dependency>

在resources下创建datax脚本

 test.json文件内容如下(根据你的业务进行修改):

{
  "job": {
    "setting": {
      "speed": {
        "channel": 4
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "你的数据库用户名",
            "password": "你的数据库密码",
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://你的数据库地址(支持其他数据库)"],
                "querySql": ["(查询的sql),如:select id, username from xx"]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "你的数据库用户名",
            "password": "你的数据库密码",
            "writeMode": "update",
            "column": ["id","username","数据库的列,将查询结果与这里的列对应从而进行同步"],
            "connection": [
              {
                "table": [
                  "从表表名"
                ],
                "jdbcUrl": "jdbc:mysql:你的数据库地址(支持其他数据库)"
              }
            ]
          }
        }
      }
    ]
  }
}

 

4.启动类:

import com.alibaba.datax.core.Engine;

public class TestMain {
    public static String getCurrentClasspath(){
        ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
        String currentClasspath = classLoader.getResource("").getPath();
        // 当前操作系统
        String osName = System.getProperty("os.name");
        if (osName.startsWith("Win")) {
            // 删除path中最前面的/
            currentClasspath = currentClasspath.substring(1, currentClasspath.length()-1);
        }
        return currentClasspath;
    }
    
    public static void main(String[] args) {
        // 注意:填写你解压缩datax的路径!!!
        System.setProperty("datax.home","D:\\datax");
        
        String[] datxArgs2 = {"-job", getCurrentClasspath()+"/datax/test.json", "-mode", "standalone", "-jobid", "-1"};
        
        try {
            Engine.entry(datxArgs2);
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

其中要修改的地方:

System.setProperty("datax.home","D:\\datax"); 后面填的是你解压的datax路径!!!

至此,运行即可。可以达到的效果:主表的新增记录或者更新记录都会同步到从表,但是主表删除的记录,执行该同步代码后从表不会将主表已删除的数据删除!!!(主表新增、修改可以与从表同步,但是删除不行,因此建议主表可以采用逻辑删除)

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值