DataX 本地调试配置

简要说明

根据自己的开发需求，完成了reader、writer、transformer开发后，在ide内通过Engine入口，调试自己的插件和job的json。

前置条件

已在系统安装了datax，本例子是在windows环境下，安装包地址https://github.com/alibaba/DataX 下，安装流程可参考其他博客。基本步骤：下载 -> 解压 -> ide打开项目 -> maven编译：mvn -U clean package assembly:assembly -Dmaven.test.skip=true（注意maven版本最好在3.6.x，我用过3.9.x会无法编译成功，assembly插件的问题）

步骤

1.下载DataX的源码

在github中，搜索datax进行下载，解压，并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件：


上图只展示transformer，其他内容自行完善，然后记得在TransformerRegistry类进行注册：

2.配置Engine类的启动环境参数

1）-Ddatax.home=D:/datax 是 VM options 参数，D:/datax 安装的目录
2）-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone
其中 d:/datax/job/mysql2mysql.json 是你的任务的json，-1 是本地调试的任务id，模式也是固定的 standalone
3）D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法

启动后，即可在需要的地方打点debug。