ClickHouse偶现 读取数据超时

已于 2022-05-09 10:00:42 修改
阅读量2k 收藏 2
点赞数 2
文章标签： 数据库
于 2022-05-09 10:00:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Unicorn_26/article/details/124659952
版权

产生原因

ClickHouse服务器在高负载下出现滞后以及ClickHouse服务器和JDBC驱动程序的超时设置不同，当我们有很多选择查询时，ClickHouse服务器的性能将大大降低，简单查询将运行30秒以上，从而导致JDBC驱动程序超时

ClickHouse exception, code: 159, host: xxx.xxx.xxx.xxx, port: 18123; Read timed out

解决办法

设置JDBC属性： socket_timeout=300000

url：jdbc:clickhouse://ip:port/database?socket_timeout=300000
Unicorn_26
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql历史数据同步到clickhouse 已测试
06-22
mysql历史数据同步到clickhouse 已测试
LabVIEW的读取数据记录文件
01-19
“读取数据记录文件”位于函数选板的“编程→文件I／O→文件函数→数据文件→读取数据记录文件”，图标和接线端如图8－31所示。 　读取数据记录文件从指定的文件中读取记录数据，从当前的日志位置开始读取。输入和...
Datax往ClickHouse数据库插入数据前执行truncate table遇到超时问题Read timed out
qq_45124566的博客
01-11 2496
该问题是由于数据量过大(也有可能是网络问题)，处理请求太久，导致 ClickHouse 连接超时，建议在 ClickHouse 链接字符串后面加上参数：`?socket_timeout=600000`
SQL查询超时的设置方法(关于timeout的处理)
12-15
为了优化OceanBase的query timeout设置方式，特调研MySQL关于timeout的处理，记录如下。 代码如下: mysql> show variables like ‘%time%’; +—————————-+——————-+ | Variable_name | Value | +—————————-+——————-+ | connect_timeout | 10 | | datetime_format | %Y-%m-%d %H:%i:%s | | delayed_insert_timeout | 300 | | flush_time | 1800 | | innodb_
Clickhouse报错：DB::Exception: Timeout exceeded: elapsed 5.001140127 seconds, maximum: 5:
基咯咯
07-06 6051
在Clickhouse中查询时，报如下错误： DB::Exception: Timeout exceeded: elapsed 5.001140127 seconds, maximum: 5: 发现超时了，查看Clickhouse的设置表： :) select * from system.settings where name='max_execution_time' ┌─name───────────────┬─value─┬─changed─┐ │ max_execution_time │
记录clickhouse 数据库连接超时问题处理
qq5621的博客
05-11 2547
测试环境，clickhouse 大概有3个亿的数据。业务场景：综合报表，查询一周内的报表数据统计。需要绘制的图表有接近20个，采用ForkJoin 多线程处理。数据库连接：Hikari，默认最大数据库连接数为10，连接超时时间为10s。其次，采用ForkJoin多线程处理，一旦有多线程同时处理且单个线程处理时间过长时，就有可能会连接数超过10，且连接超时时间超过10s，就会抛出连接超时异常。首先，默认最大数据库连接数为10，数量较小（主要），连接超时时间为10s，时长偏短（次要）;
解决运行clickhouseSql超时问题
wzf1997one的博客
03-24 3944
非官方的解决clickhouseSQL超时问题
clickhouse执行SQL超时相关解决
clearMarkCC的博客
12-30 3219
clickhouse执行sql超时的执行各种办法讨论
java 整合mysql 和clickhouse数据库
08-10
实现多数据源连接 自由 切换
PHP file_get_contents函数读取远程数据超时的解决方法
10-24
主要介绍了PHP file_get_contents函数读取远程数据超时的解决方法,本文直接给出解决方法代码,需要的朋友可以参考下
python读取excel数据.doc
最新发布
05-17
python读取excel数据 python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc
clickhouse-SQL踩坑之java.net.SocketTimeoutException: Read timed out
u011840095的博客
10-17 887
示例：jdbc:clickhouse://x.x.x.x:port/default?(2)数据库连接参数配置方式，URL增加?(1)在代码中配置sql执行超时间；经测试这个配置未生效，到30s依然报错。弊端：不好确定超时时间，sql设置多久可执行完。(3)配置为socket_timeout=0。0：直到sql执行完毕。
大结果集SQL引发的ClickHouse空闲超时
Hehuyi_In的博客
11-12 3648
业务反馈查询遇到java报错，并且反复尝试都在同一个语句遇到相同报错检查当时DB负载很低，尝试手动该查询不报错，但数据量很大，将近3000万行。由于影响到生产业务，联系阿里云后台共同排查。
ClickHouse连接超时的解决方法
热门推荐
ws271的博客
12-29 3万+
在通过ClickHouse官方驱动使用java代码连接数据库的时候，有时由于ClickHouse服务器在高负载下出现滞后以及ClickHouse服务器和JDBC驱动程序的超时设置不同所致。当我们有很多选择查询时，ClickHouse服务器的性能将大大降低，简单查询将运行30秒以上，从而导致JDBC驱动程序超时。 出现报错：ClickHouse exception, code: 159, host: 10.100.xx.xxx, port: 8123; Read timed out 解决方法： 在连接...
Flink sql 实现 -connection-clickhouse的 source和 sink
wudonglianga的专栏
08-28 3006
flink13.1 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包
故障分析 | ClickHouse 集群分布式 DDL 被阻塞案例一则
ActionTech的博客
05-06 1988
作者：任坤 现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 1、背景 线上有套10节点clickhouse集群，5分片 * 2副本，版本19.7.3。 开发执行一个创建分布式表的操作，9个节点都成功返回，有个节点报错，返回信息如下： Code: 159. DB::Exception: Received from 127..
Java保存数据到ClickHouse连接超时失败code 1002 failed to respon
闫玉林的博客
02-05 3533
【已解决】Java保存数据超时失败 ClickHouse exception, code 1002, 8123 failed to respon，k.Java连接ClickHouse有以下几种方式1、使用JDBCClickHouse提供了JDBC驱动，可以使用JDBC API连接到ClickHouse，类似于连接其他关系型数据库。可以使用Java中的JDBC API对ClickHouse进行操作，例如执行SQL查询、插入、更新、删除等操作。连接方式如下：2、使用是一个基于HTTP协议的ClickHouse
趣头条基于Flink+ClickHouse的实时数据分析平台
架构师小秘圈
06-19 4369
导读：趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用 Flink+ClickHouse 解决方案，覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析...
flinksql读取kafka数据写入ck，报错：IOException: Attempt to Flush ClickHouse executor failed
zuixue_lei的博客
05-17 954
详细报错日志如下： java.io.IOException: Attempt to Flush ClickHouse executor failed, exhausted retry times = 3 at org.apache.flink.connector.clickhouse.internal.AbstractClickHouseOutputFormat.attemptFlush(AbstractClickHouseOutputFormat.java:99) ~[flink-connector
clickhouse_driver 读取数据
12-30
clickhouse_driver是一个用于连接和操作ClickHouse数据库的Python驱动程序。根据提供的引用内容，以下是使用clickhouse_driver读取数据的示例代码： ```python from clickhouse_driver import Client # 创建一个ClickHouse客户端对象 client = Client(host='***.***.***.***', database='****', user='****', password='****') # 执行查询语句并获取结果迭代器 sql = "SELECT * FROM table_name" result_iter = client.execute_iter(sql) # 定义要写入的文件路径 file_path = "path/to/file.txt" # 打开文件并将查询结果写入文件 with open(file_path, 'w') as file: for row in result_iter: # 将每一行的数据转换为字符串，并使用制表符分隔 row_str = '\t'.join(map(str, row)) # 将每一行的数据写入文件，并添加换行符 file.write(row_str + '\n') ``` 上述代码中，首先创建了一个ClickHouse客户端对象，然后执行查询语句并获取结果迭代器。接下来，定义了要写入的文件路径，并使用`with open`语句打开文件。然后，使用`for`循环遍历结果迭代器中的每一行数据，将每一行的数据转换为字符串，并使用制表符分隔。最后，将每一行的数据写入文件，并添加换行符。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值