datax同步doris到DB2数据同步超时问题

文章描述了在处理大量数据同步(50000000条)时遇到的查询超时问题。每五分钟同步300000条数据导致错误。作者检查了数据库查询超时参数,并尝试在DataX的JDBCURL中设置超时参数无果,最终在JSON配置中添加session参数解决了问题。测试显示同步任务现在能在3小时内完成。
摘要由CSDN通过智能技术生成

问题概述:

         由于同步数据量较大50000000,所以在同步时每次同步五分钟大概300000左右就会报错,提示这个查询超时参数,自己查了好多方法提到修改参数,准备在则在测试环境测试,最后发现测试环境之前就设置的查询超时时间为30个小时,再执行同步任务差不多3个小时完成哦同步任务。给datax中jdbcurl添加参数未生效,后面在json中添加一个session成功。

报错提示: query_timeout

首先我去数据库查看一下参数

命令:

SHOW VARIABLES LIKE "%query_timeout%";

结果如下:

 2、datax中设置query_timeout

 设置完参数后,测试成功。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值