idea本地debug调试DATAX插件运行

datax官方github地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

接触datax是看重他的数据采集功能和可以扩展插件的功能,根据官方说明,DATAX是以python来调用插件的运行json配置,但对于二次开发插件的同学来说,需要本地调试。那么根据我的经验,贴出我的调试方式,有问题可以联系

1.源码部署方式请查阅 DataX/userGuid.md at master · alibaba/DataX · GitHub

 2.将源码下载放入idea中后,执行上图的命令打包,如果要运行。需要从源码入口类Engine.java运行,点击右上角Edit Configuration

 点击 + 号,按照下图配置,添加VM options,Program arguments

 VM options处填入  -Ddatax.home=C:\Users\clj\Documents\DataXPlus\target\datax\datax,具体路径根据你自己项目而定

Program arguments 填入 -mode standalone -jobid -1 -job C:\Users\clj\Documents\DataXPlus\json\httpreaderToMysql.json    其中json文件的路径根据你自己的文件地址而定

改完如下图

 

点击OK保存,点击运行按钮或者debug启动按钮,打入断点即可调试

 

 

需要注意的时,这种方式调试如果修改了代码,需要重新在DATAX目录执行打包后,新的代码才能生效,才能进入断点。

 

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
DataX是一个开源的数据同步工具,由阿里巴巴集团开发和维护。它可以帮助用户高效地将不同类型、不同结构的数据从一个地方同步到另一个地方。DataX插件开发是指开发自定义的数据传输插件,以满足特定的数据同步需求。 DataX插件开发主要包括以下几个步骤: 1. 理解数据源:首先,需要了解源数据的类型和结构,比如关系型数据库、文本文件、NoSQL数据库等,以及数据的存储方式和特点。 2. 编写插件代码:根据源数据的特点,使用Java或其他编程语言编写相应的插件代码。可以参考DataX提供的现有插件代码,了解其实现原理。插件代码需要实现数据的读取、转换和写入等逻辑。 3. 配置插件参数:为了使插件能够正确运行,需要在DataX配置文件中对插件进行相应的配置。这包括指定插件的类路径、参数传递等。 4. 测试和调试:在开发插件过程中,需要进行充分的测试和调试,以确保插件能够正常工作,并满足预期的数据同步需求。可以使用DataX提供的测试工具进行测试,定位和修复代码中的问题。 5. 部署和发布:完成插件的开发和调试后,需要将插件打包成可执行的Jar包,并按照DataX的部署要求进行部署和发布。 总之,DataX插件开发是根据具体的数据同步需求开发自定义的数据传输插件。通过理解数据源、编写插件代码、配置插件参数、测试和调试,最终将插件部署和发布,实现高效、可靠的数据同步。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

8一天不

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值