DataX-web运行时报错:jdbc4.MySQLNonTransientConnectionException:Could not create database server

DataX-web启动后执行器在线机器为0.0.0开头的地址,删除这个执行器后添加一个执行器,注册方式为手动录入,在线机器地址改为你的地址。

结果系统仍不能调度成功。

查看日志报错jdbc4.MySQLNonTransientConnectionException:Could not create database server,

直接在datax下执行python ~/datax/bin/datax.py ~/datax/job/test.json也提示上述错误。

原因是

java的mysql-connector-java.jar与高版本的MySQL不匹配,datax plugin里的MySQL插件还是5.1.34版的,

于是进去MAVEN官网https://mvnrepository.com/artifact/mysql/mysql-connector-java下载了jdbc版本8.0.25.jar,可以根据源数据库的版本选择对应的mysql-connector-java.jar。

下载的mysql-connector-java-8.0.25.jar替换~/datax/plugin/writer/mysqlwriter/libs和~/datax/plugin/reader/mysqlreader/libs下的mysql-connector-java-5.1.34.jar

此时执行python ~/datax/bin/datax.py ~/datax/job/test.json成功

不用重启datax-web,执行任务也成功。

对于增量同步,datax-web提示

DataX传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致,请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值

datax的这个脏数据阈值在job的json中errorlimit中设置

同步时不要选择id自增字段同步就不会提示传输脏数据超过用户预期

字段映射时字段名可以不一样,字段数量必须一样。

json中存储的用户名密码是加密的,不影响同步(不要误以为是此处的加密用户名密码造成同步失败)

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值