datax安装 及 springboot整合 datax

换了新工作,Java出身的我,弄点大数据的活.

datax安装

环境要求

1.jdk1.8
2.python

源码地址：https://github.com/alibaba/DataX

这里我下载的是最新版本的 DataX3.0 。下载地址为：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

解压
[root@localhost /]# tar -zxvf datax.tar.gz -C /opt/soft/
[root@hadoop ~]$ cd /opt/software/datax/
[root@hadoop datax]$ bin/datax.py job/job.json

出现如图则安装成功

json文件就不示例了,以下是springboot整合datax,主要的问题是jar包环境的问题,这个磨了好久才能出来.

先把源码下载或者clone下来, 用idea打开.

重点

1.在根目录的pom文件中,把不需要的模块给注释掉(打包时间短)

2.把你需要的转换的数据源模块打开,我的业务需要是txtreader和mysqlwrite.

3.这个时候,maven打包,先选择root打包(第一次需要)

重点又来了
4.

(1)在core包里面新建一个 plugin 目录,位置如下

(2)上图可以看出需要引一些东西.
在txtreader和mysqlwriter中的的target包中复制到上图的目录中,
mysql示例如图

(3)把core打包生成jar包(后面为我们的springboot项目使用)

ok,jar包环境搞定.不要问我为什么这么做,也是公司大佬教我的.不用像其他博客说的,一个一个打包,一个一个引入,一个一个写maven导入,太麻烦了

.

新建springboot项目

看图,大家大概了解了,给大家解释一下,新建目录变成资源目录,在把我们之前打好的jar包复制进去,其他两个是基础包,core是最重要的.下图是变成资源目录的方式

我们建立一个main方法

public class datax {
    public static void main(String[] args) {
        String getCurrentClasspath = "D:\\project\\datax\\DataX\\core\\src\\main";
        System.setProperty("datax.home", getCurrentClasspath);
        String[] datxArgs = {"-job", "D:\\project\\demo\\src\\main\\job\\txt2mysql.json", "-mode", "standalone", "-jobid", "-1"};
        try {
            Engine.entry(datxArgs);
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

解释一下:
getCurrentClasspath:是源码目录,不是指向项目的目录.
网上有教程说用环境变量的,但是我不会.
datxArgs 改变你的json目录就行.
json去github上研究就行.这里不介绍了.

这篇文章的重点是把打包后数据源jar包复制给core,core再打包一次就可以直接用了