Datax往ClickHouse数据库插入数据前执行truncate table遇到超时问题Read timed out

背景

最近使用 Datax 往 ClickHouse 数据库插入数据前执行 truncate table 时执行任务失败，具体报错信息如下：

2023-01-10 15:40:39.169 [job-0] ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-06], Description:[执行数据库 Sql 失败, 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助.]. - 执行的SQL为: truncate table dbname.table_name_local on CLUSTER '{cluster}'; 具体错误信息为：ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 159, host: 192.168.xxx.xx, port: 8123; Read timed out
 at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.plugin.rdbms.util.RdbmsException.asQueryException(RdbmsException.java:97) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.plugin.rdbms.writer.util.WriterUtil.executeSqls(WriterUtil.java:105) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.plugin.rdbms.writer.CommonRdbmsWriter$Job.prepare(CommonRdbmsWriter.java:123) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.plugin.writer.clickhousewriter.ClickhouseWriter$Job.prepare(ClickhouseWriter.java:41) ~[clickhousewriter-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.job.JobContainer.prepareJobWriter(JobContainer.java:751) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.job.JobContainer.prepare(JobContainer.java:324) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:117) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na]
 at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na]

其实以上报错信息最主要的就是：ClickHouse exception, code: 159, host: 192.168.xxx.xx, port: 8123; Read timed out，可以看出是报的读超时的错误。

解决办法

该问题是由于数据量过大(也有可能是网络问题)，处理请求太久，导致 ClickHouse 连接超时，建议在 ClickHouse 链接字符串后面加上参数：?socket_timeout=600000 再验证，socket_timeout 的单位是 ms，可以根据实际情况更改大小。

在 URL 模板中添加参数配置如下所示：

jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000

通过以上方法可以解决上述超时问题，若按照以上方法更改后依然报错，需结合日志等信息进一步分析判断。

注意事项：
对于数据源 URL 的配置，正常情况下，拼接第一个参数用 ?，后面的参数应使用 & 拼接，即 ?aa=aa&bb=bb&cc=cc，若拼接符号未写正确，会导致该超时参数不生效。

了解详细过程，可参考文章：
https://blanklin030.github.io/2021/12/21/clickhouse-read-timed-out/
https://help.aliyun.com/document_detail/197622.html