ClickHouse偶现 读取数据超时

已于 2022-05-09 10:00:42 修改
阅读量1.9k 收藏 2
点赞数 2
文章标签： 数据库
于 2022-05-09 10:00:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Unicorn_26/article/details/124659952
版权

产生原因

ClickHouse服务器在高负载下出现滞后以及ClickHouse服务器和JDBC驱动程序的超时设置不同，当我们有很多选择查询时，ClickHouse服务器的性能将大大降低，简单查询将运行30秒以上，从而导致JDBC驱动程序超时

ClickHouse exception, code: 159, host: xxx.xxx.xxx.xxx, port: 18123; Read timed out

解决办法

设置JDBC属性： socket_timeout=300000

url：jdbc:clickhouse://ip:port/database?socket_timeout=300000
Unicorn_26
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ClickHouse连接超时的解决方法
ws271的博客
12-29 3万+
在通过ClickHouse官方驱动使用java代码连接数据库的时候，有时由于ClickHouse服务器在高负载下出现滞后以及ClickHouse服务器和JDBC驱动程序的超时设置不同所致。当我们有很多选择查询时，ClickHouse服务器的性能将大大降低，简单查询将运行30秒以上，从而导致JDBC驱动程序超时。 出现报错：ClickHouse exception, code: 159, host: 10.100.xx.xxx, port: 8123; Read timed out 解决方法： 在连接...
Java保存数据到ClickHouse连接超时失败code 1002 failed to respon
闫玉林的博客
02-05 3456
【已解决】Java保存数据超时失败 ClickHouse exception, code 1002, 8123 failed to respon，k.Java连接ClickHouse有以下几种方式1、使用JDBCClickHouse提供了JDBC驱动，可以使用JDBC API连接到ClickHouse，类似于连接其他关系型数据库。可以使用Java中的JDBC API对ClickHouse进行操作，例如执行SQL查询、插入、更新、删除等操作。连接方式如下：2、使用是一个基于HTTP协议的ClickHouse
Datax往ClickHouse数据库插入数据前执行truncate table遇到超时问题Read timed out
qq_45124566的博客
01-11 2464
该问题是由于数据量过大(也有可能是网络问题)，处理请求太久，导致 ClickHouse 连接超时，建议在 ClickHouse 链接字符串后面加上参数：`?socket_timeout=600000`
SQL查询超时的设置方法(关于timeout的处理)
12-15
为了优化OceanBase的query timeout设置方式，特调研MySQL关于timeout的处理，记录如下。 代码如下: mysql> show variables like ‘%time%’; +—————————-+——————-+ | Variable_name | Value | +—————————-+——————-+ | connect_timeout | 10 | | datetime_format | %Y-%m-%d %H:%i:%s | | delayed_insert_timeout | 300 | | flush_time | 1800 | | innodb_
解决运行clickhouseSql超时问题
wzf1997one的博客
03-24 3912
非官方的解决clickhouseSQL超时问题
记录clickhouse 数据库连接超时问题处理
qq5621的博客
05-11 2477
测试环境，clickhouse 大概有3个亿的数据。业务场景：综合报表，查询一周内的报表数据统计。需要绘制的图表有接近20个，采用ForkJoin 多线程处理。数据库连接：Hikari，默认最大数据库连接数为10，连接超时时间为10s。其次，采用ForkJoin多线程处理，一旦有多线程同时处理且单个线程处理时间过长时，就有可能会连接数超过10，且连接超时时间超过10s，就会抛出连接超时异常。首先，默认最大数据库连接数为10，数量较小（主要），连接超时时间为10s，时长偏短（次要）;
clickhouse常见异常以及错误码解决
热门推荐
weixin_57205390的博客
02-23 2万+
解决：合理设置max_concurrent_queries，max_bytes_before_external_sort，background_pool_size，max_memory_usage，max_memory_usage_for_all_queries，max_bytes_before_external_group_by，尤其重要的是max_memory_usage_for_all_queries 【 单机最大的内存使用量可以设置略小于机器的物理内存(留一点内操作系统)】。
几种数据库的timeout含义及配置
进化的深山猿
10-17 6996
不同数据库中socketTimeout作用于配置 JDBC使用socket与数据库连接，数据库并不对应用与数据库间的连接超时进行处理。 JDBC的socket timeout在数据库被突然停掉或是发生网络错误（由于设备故障等原因）时十分重要。由于TCP/IP的结构原因，socket没有办法探测到网络错误，因此应用也无法主动发现数据库连接断开。如果没有设置socket timeout的话，应用在数据...
mysql历史数据同步到clickhouse 已测试
06-22
mysql历史数据同步到clickhouse 已测试
java 整合mysql 和clickhouse数据库
08-10
实现多数据源连接 自由 切换
PHP file_get_contents函数读取远程数据超时的解决方法
10-24
主要介绍了PHP file_get_contents函数读取远程数据超时的解决方法,本文直接给出解决方法代码,需要的朋友可以参考下
python读取excel数据.doc
05-17
python读取excel数据 python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc python读取excel数据.doc
LabVIEW的读取数据记录文件
01-19
“读取数据记录文件”位于函数选板的“编程→文件I／O→文件函数→数据文件→读取数据记录文件”，图标和接线端如图8－31所示。 　读取数据记录文件从指定的文件中读取记录数据，从当前的日志位置开始读取。输入和...
Flink sql 实现 -connection-clickhouse的 source和 sink
wudonglianga的专栏
08-28 2953
flink13.1 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包
clickhouse执行SQL超时相关解决
clearMarkCC的博客
12-30 3169
clickhouse执行sql超时的执行各种办法讨论
clickhouse 踩坑：报错 timeout distributed_ddl_task_timeout
KKT
11-11 4073
今天使用clickhouse执行一个SQL语句时报错： Code: 159. DB::Exception: Received from localhost:9000. DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000565925 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 1 unfinished hosts
故障分析 | ClickHouse 集群分布式 DDL 被阻塞案例一则
ActionTech的博客
05-06 1967
作者：任坤 现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 1、背景 线上有套10节点clickhouse集群，5分片 * 2副本，版本19.7.3。 开发执行一个创建分布式表的操作，9个节点都成功返回，有个节点报错，返回信息如下： Code: 159. DB::Exception: Received from 127..
【Clickhouse】CLICKHOUSE几个常见问题处理以及常用命令（持续更新）
大锅霍皮久的博客
12-09 9304
@TOC 删除旧集群表后重建，5分钟左右出现zk中该表的配置文件消失的情况 网上的解决方案测试后无效 网上案例 确认metadata和data下无该表数据。 确认zk中无该表数据。 重建表后5分钟左右配置文件消失，但metadata和data下有该表（日志中会出现 No node, path）。此时该表形同虚设，无法正常使用。 标记该问题为bug，可能部分数据存在于缓存中导致无法重建 解决方案： 更换表名后，zk中该表的配置文件不会消失。通过此方式解决该问题。需谨慎使用。 如何处理socket_ti
【Qt实现录频】
最新发布
m0_45463480的博客
06-13 111
请注意，这只是一个简单的示例代码，实际应用中你可能需要处理更多的细节，如捕获不同视频格式、处理录制过程中的错误等。希望这个示例对你有所帮助，另外你也可以在Qt官方文档中找到更多关于Qt Multimedia模块的详细信息。在Qt中实现录制视频可以通过使用Qt Multimedia模块来实现。在上面的示例中，VideoRecorder类提供了一个简单的界面，其中包括一个用于录制视频的按钮。当按钮被点击时，toggleRecord()槽函数将会启动或停止录制。
clickhouse_driver 读取数据
12-30
clickhouse_driver是一个用于连接和操作ClickHouse数据库的Python驱动程序。根据提供的引用内容，以下是使用clickhouse_driver读取数据的示例代码： ```python from clickhouse_driver import Client # 创建一个ClickHouse客户端对象 client = Client(host='***.***.***.***', database='****', user='****', password='****') # 执行查询语句并获取结果迭代器 sql = "SELECT * FROM table_name" result_iter = client.execute_iter(sql) # 定义要写入的文件路径 file_path = "path/to/file.txt" # 打开文件并将查询结果写入文件 with open(file_path, 'w') as file: for row in result_iter: # 将每一行的数据转换为字符串，并使用制表符分隔 row_str = '\t'.join(map(str, row)) # 将每一行的数据写入文件，并添加换行符 file.write(row_str + '\n') ``` 上述代码中，首先创建了一个ClickHouse客户端对象，然后执行查询语句并获取结果迭代器。接下来，定义了要写入的文件路径，并使用`with open`语句打开文件。然后，使用`for`循环遍历结果迭代器中的每一行数据，将每一行的数据转换为字符串，并使用制表符分隔。最后，将每一行的数据写入文件，并添加换行符。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值