DataX-web运行时报错：jdbc4.MySQLNonTransientConnectionException:Could not create database server

最新推荐文章于 2024-07-04 01:42:30 发布
原创 最新推荐文章于 2024-07-04 01:42:30 发布 · 3.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#datax

博客讲述了在使用DataX-web时遇到的执行器地址异常及MySQL连接问题，问题根源在于mysql-connector-java.jar版本与MySQL版本不匹配。解决方案是下载并替换合适的jdbc驱动版本。此外，还讨论了DataX传输脏数据超过预期的错误，建议避免同步自增字段并调整错误限制。最后，提到了脏数据阈值在job的json配置中的设置。
部署运行你感兴趣的模型镜像

DataX-web启动后执行器在线机器为0.0.0开头的地址，删除这个执行器后添加一个执行器，注册方式为手动录入，在线机器地址改为你的地址。

结果系统仍不能调度成功。

查看日志报错jdbc4.MySQLNonTransientConnectionException:Could not create database server，

直接在datax下执行python ~/datax/bin/datax.py ~/datax/job/test.json也提示上述错误。

原因是

java的mysql-connector-java.jar与高版本的MySQL不匹配，datax plugin里的MySQL插件还是5.1.34版的，

于是进去MAVEN官网https://mvnrepository.com/artifact/mysql/mysql-connector-java下载了jdbc版本8.0.25.jar，可以根据源数据库的版本选择对应的mysql-connector-java.jar。

下载的mysql-connector-java-8.0.25.jar替换~/datax/plugin/writer/mysqlwriter/libs和~/datax/plugin/reader/mysqlreader/libs下的mysql-connector-java-5.1.34.jar

此时执行python ~/datax/bin/datax.py ~/datax/job/test.json成功

不用重启datax-web，执行任务也成功。

对于增量同步，datax-web提示

DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值

datax的这个脏数据阈值在job的json中errorlimit中设置

同步时不要选择id自增字段同步就不会提示传输脏数据超过用户预期

字段映射时字段名可以不一样，字段数量必须一样。

json中存储的用户名密码是加密的，不影响同步（不要误以为是此处的加密用户名密码造成同步失败）

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

DataX-Web源码Idea编译部署手册源码idea编译部署手册
理论都是虚的，代码才是王道。
03-26 1892
分别在datax-admin（datax-web\datax-admin\pom.xml）和datax-executor（datax-web\datax-executor\pom.xml）下面的pom.xml文件中添加文件中添加如下内容。3、将datax-admin下的target/classes/mybatis-mapper下的所有xml文件拷贝进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下。
DataX启动与脚本执行报错：
Y_Aryan的博客
01-31 601
python datax.py /opt/module/datax/job/job.json 看是否可以运行。替换成适合 python3语法规则的同名文件（具体的替换文件可去网上寻找，很多博主都发了）（2）替换完成之后，需要将新放入的三个文件修改权限，都修改为 755 权限。Datax支持 python2.x (通过python命令 运行)如果想要使用python3， 则。（3）重新试一下，用。
DataX运行时报错：jdbc4.MySQLNonTransientConnectionException:Could not create database server
神芷迦蓝寺
05-05 1620
出现这个问题我是一脸懵逼的，因为datax作为一个牛逼的ETL工具使用了好几年，第一次碰见这样的问题，简单讲一下我的处理过程 第一感觉是源MySQL数据库的问题，因为之前也遇到过这个问题，是too many connections连接数过多拒绝连接，解决办法是调大数据库连接数或者关闭其他连接或者直接重启就可以，于是下意识的也重启了MySQL，结果还是不行 沉静下来冷静分析应该是java的问题，...
解决datax-web任务执行时脏数据的问题
Ryan_202297的博客
07-04 1688
在使用DataX或者DataX-Web进行数据同步时，经常会遇到传输过程中日志显示传输遇到脏数据，脏数据限制为0条的问题。
mysql创建数据库时报错：Can‘t create database ‘xxxx‘ (errno: 16026912)
GHY
05-23 4715
今天在阿里云的mysql创建数据库时，发现创建不了，报错： 按照网上的方法，授予mysql目录的权限 chown -R mysql:mysql /var/lib/mysql 也没有效果 解决办法： 执行命令df -h，查看磁盘剩余空间，发现磁盘空间已占满 清理一些文件之后，创建成功： ...
DataX踩坑1 | 连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port
热门推荐
慌途L
10-25 1万+
1. ERROR RetryUtil - Exception when calling callable, 异常Msg:Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：java.sql.SQLException: No suitable driver found for [“jdbc:mysql://localhost:3306/data
dataX报错com.alibaba.datax.common.exception.DataXException: Code:[Framework-14]Description:[DataX传输脏数据
weixin_59295776的博客
07-25 2837
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[6]条.解决方案：将json文件中不匹配的int类型变更更为dataX支持的long类型即可。
datax 数据迁移从pg到mysql com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
10-01
遇到`com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server`这类错误，通常表示DataX在尝试连接MySQL服务器时遇到了问题。这可能是由于以下几个...
datax 同步MySQL数据到HDFS com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
01-03
具体错误信息是`com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server.` 这个错误通常是由于以下几个原因引起的： 1. 数据库连接URL不正确。 2...
2025-07-14 11:34:47.895 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) ~[datax-common-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.RdbmsException.asConnException(RdbmsException.java:23) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil.connect(DBUtil.java:394) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil.connect(DBUtil.java:384) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil.access$000(DBUtil.java:22) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil$3.call(DBUtil.java:322) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil$3.call(DBUtil.java:319) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.common.util.RetryUtil.executeWithRetry(RetryUtil.java:30) [datax-common-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil.getConnection(DBUtil.java:319) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.DBUtil.getConnection(DBUtil.java:303) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.util.JdbcConnectionFactory.getConnecttion(JdbcConnectionFactory.java:27) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:105) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:140) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:35) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.rdbms.writer.CommonRdbmsWriter$Job.init(CommonRdbmsWriter.java:41) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.plugin.writer.mysqlwriter.MysqlWriter$Job.init(MysqlWriter.java:31) [mysqlwriter-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.job.JobContainer.initJobWriter(JobContainer.java:704) [datax-core-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:304) [datax-core-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113) [datax-core-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na] at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na] 2025-07-14 11:34:48.896 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1000]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server.] ^C[Error] DataX receive unexpected signal 2, starts to suicide.
最新发布
07-15
我们面对的问题是：DataX连接MySQL数据库时出现"Could not create connection to database server"错误。根据提供的引用信息，这个问题通常与数据库驱动版本、连接URL参数配置、时区设置、SSL设置等有关。下面我将...
datax-web 啊啊啊啊啊啊啊啊啊啊啊啊
10-19
datax-web 啊啊啊啊啊啊啊啊啊啊啊啊
DataX数据迁移分隔符问题 DataX中有脏数据
qq_65061974的博客
06-27 3310
经过分析，原因是在使用df.write.mode("overwrite").saveAsTable("table_name")将DataFrame保存为表时，并不会使用分隔符来分隔数据。当使用saveAsTable方法将DataFrame保存为表时，数据会被序列化为一种列式存储的格式（例如Parquet、ORC等），并且与表的元数据一起存储在指定的位置。将原代码修改为保存表时将分隔符指定为“\t”，序列化格式为“\t”，DataX的json文件中也以“\t”为分隔符，即可解决问题，成功迁移。
DATAX-web报错
weixin_48133875的博客
10-27 5230
DATAX-web问题纪要
疑难杂症，盘点dataxweb数据迁移中遇到的坑(三)
qq_34193086的博客
12-01 1260
疑难杂症，盘点dataxweb数据迁移中遇到的坑(三)
docker 安装 datax和datax-web 之 datax-web登录时提示账号或密码错误_docker datax
m0_61943758的博客
04-03 1606
msg：glueType[DATAX] is not valid.’,NULL,0,NULL,1,NULL,NULL),(129,1,8,‘aoa_attachment_list’,‘10.68.12.104:9999’,‘executorJobHandler’,‘’,NULL,0,‘2023-04-27 10:53:44’,500,‘任务触发类型：手动触发。感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
dataX数据同步报错：TIMESTAMP 类型转换错误，[DataX传输脏数据超过用户预期。。。一种解决方法
qq_36098697的博客
08-02 9981
dataX数据同步报错：TIMESTAMP 类型转换错误，[DataX传输脏数据超过用户预期。。。一种解决方法
问题记录：Datax+Datax-web2.1.2的一系列问题
CN_Eden
05-17 998
记录Datax使用上遇到的问题
Datax使用 DataXException:Code[Common-01],Describe 同步数据出现业务脏数据，数据类型转换错误，Bytes类型不能转为Long
Auto918的博客
05-11 913
在使用以上内容job.json不变的情况下，将数据库表的一些bigint字段改为tinyint，将其完全对应tdengine的数据类型时，执行脚本的时候会发生报错信息，报错信息如下。我大哥给我说是tdengine3的数据类型与mysql一样时，它的数据长度是可能不一样的，所以在数据库这边放大一些。2. 在打包的过程中，最开始也是经常出现缺少plugin什么的，反正就是死活打不上，最后的解决办法是执行如下命令（maven）
datax-web部署报错： Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException:
10-14
这个错误提示表明 datax-web 应用无法连接到数据库，请检查数据库配置是否正确以及数据库是否正常运行。 具体排查步骤如下： 1. 检查 datax-web 的配置文件，确认数据库连接信息是否正确。 2. 确认数据库是否正常...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值