DataX、sqoop抽取TDSQL数据库中数据报Timeout的问题

客户在使用DataX从TDSQL数据库抽取数据时遇到超时问题,经过排查,发现DataX框架设置了net_write_timeout=600s,与TDSQL不兼容。通过修改jdbcUrl添加参数netTimeoutForStreamingResults=28800解决了问题。同样的问题也出现在sqoop中,调整后成功完成数据抽取。
摘要由CSDN通过智能技术生成

由于此类问题虽然不常见,但是每次遇到排查都会花费大量的时间,整理整个case,供参考

背景: 客户报障他们只要一连接到TDSQL抽取数据,差不多10分钟左右就会出现超时中断,反复几次都不成功。连到MySQL却没有任何问题。 排查过程: 一、看到这个问题,确实比较懵,除了能看到客户用了我们的DCDB产品之外,不清楚发生了什么事。 首先和客户确认,他们用的什么工具做的数据抽取,反馈是DataX。先了解一下DataX是什么东东。

DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

file

为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 二、信息还是比较少,继续收集信息 客户声音: “我能够确定的是,不是框架限定了连接时间,因为同样的代码,连传统mysql没有问题(超过两个亿,半个多小时以上),一连TDSQL抽取10分钟后就报Timeout。这个问题已经严重影响到下游系统,请协助解决”

客户所能提供的信息也比较有限,进一步深入来查。 首先怀疑到了DataX和DCD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值