ClickHouse系列--Exception: Memory limit (total) exceeded: would use

最新推荐文章于 2023-12-29 10:59:09 发布
最新推荐文章于 2023-12-29 10:59:09 发布
阅读量5k 收藏 1
点赞数
分类专栏： (36)...clickhouse 文章标签： clickhouse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39800144/article/details/118933758
版权

批量写入clickhouse出错，内存溢出，报错信息如下：

2021-07-20 13:59:14.291  INFO 12719 --- [pool-9-thread-1] c.t.r.c.c.consumer.ClickHouseConsumer    : ------>>>>>>The 10 times write,Receive messages size is 74593
2021-07-20 13:59:24.401  INFO 12719 --- [pool-8-thread-1] c.t.r.c.c.consumer.ClickHouseConsumer    : ------>>>>>>The 9 times write to default.roc_activity_base end.【Assemble takes 10164 ms,Insert takes 6033 ms】
2021-07-20 13:59:46.842 ERROR 12719 --- [pool-9-thread-1] c.t.r.c.c.consumer.ClickHouseConsumer    : The 10 times write,Insert into clickhouse error:ClickHouse exception, code: 241, host: 10.58.10.243, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 3.33 GiB (attempt to allocate chunk of 4219140 bytes), maximum: 3.33 GiB (version 21.5.6.6 (official build))


ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: 10.58.10.243, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 3.33 GiB (attempt to allocate chunk of 4219140 bytes), maximum: 3.33 GiB (version 21.5.6.6 (official build))

	at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:58) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:28) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.checkForErrorAndThrow(ClickHouseStatementImpl.java:875) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:851) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:824) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:817) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeBatch(ClickHousePreparedStatementImpl.java:335) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeBatch(ClickHousePreparedStatementImpl.java:320) ~[clickhouse-jdbc-0.2.4.jar:na]
	at cn.java4all.core.consumer.consumer.ClickHouseConsumer.onBulkMessage(ClickHouseConsumer.java:88) ~[classes/:na]
	at cn.java4all.core.consumer.consumer.AbstractConsumer.doConsume(AbstractConsumer.java:69) [classes/:na]
	at cn.fraudmetrix.module.kafka.consumer.ConcurrentPoller.lambda$handle$1(ConcurrentPoller.java:98) [module-kafka-3.2.3-20210716.082922-62.jar:na]
	at java.util.concurrent.CompletableFuture$AsyncRun.run$$$capture(CompletableFuture.java:1626) ~[na:1.8.0_211]
	at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java) ~[na:1.8.0_211]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[na:1.8.0_211]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[na:1.8.0_211]
	at java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_211]
Caused by: java.lang.Throwable: Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 3.33 GiB (attempt to allocate chunk of 4219140 bytes), maximum: 3.33 GiB (version 21.5.6.6 (official build))

	at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:53) ~[clickhouse-jdbc-0.2.4.jar:na]
	... 15 common frames omitted

2021-07-20 13:59:46.843 ERROR 12719 --- [pool-9-thread-1] c.t.r.c.c.consumer.AbstractConsumer      : Consume the message error,topic is roc_dev_api_raw_activity,ClickHouse exception, code: 241, host: 10.58.10.243, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 3.33 GiB (attempt to allocate chunk of 4219140 bytes), maximum: 3.33 GiB (version 21.5.6.6 (official build))


ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: 10.58.10.243, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 3.33 GiB (attempt to allocate chunk of 4219140 bytes), maximum: 3.33 GiB (version 21.5.6.6 (official build))

	at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:58) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:28) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.checkForErrorAndThrow(ClickHouseStatementImpl.java:875) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:851) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:824) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHouseStatementImpl.sendStream(ClickHouseStatementImpl.java:817) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeBatch(ClickHousePreparedStatementImpl.java:335) ~[clickhouse-jdbc-0.2.4.jar:na]
	at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeBatch(ClickHousePreparedStatementImpl.java:320) ~[clickhouse-jdbc-0.2.4.jar:na]

原因：批量写入时内存不够。
解决：调整扩大可用内存阈值。

IT云清
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kudu ：Service unavailable: Soft memory limit exceeded at xxx% of capacity
01-07
Kudu ：Service unavailable: Soft memory limit exceeded at xxx% of capacity 3.原因 内存限制问题（Memory Limits）： Kudu都有一个硬性和软性的内存限制。 硬存储器限制是Kudu进程允许使用的最大数量，由--...
clickhouse实战--常见异常汇总
没有合适的昵称
01-25 1万+
Code: 117, e.displayText() = DB::Exception: Unexpected NULL value of not Nullable type String (version 20.8.3.18) 从上面报错信息来看,是因为null值导致的,hive底层存储null值是用\N表示,而clickhouse处理null值的方式不一致,因为需要在建表时特殊说明,问题解决思路:https://blog.csdn.net/jarry_cm/article/details/10598801
【mysql和clickhouse 查看当前链接进程信息】
在这个充满危险的乱世之中，只有学会烤鸡才能顽强的活下去。
02-24 798
我们有时候服务器会突然内存溢出，这时候我们会去服务器上查看，是否是Mysql查询的时候用的时间太长，我们去查看当前进程情况。
ClickHouse那些年我们遇到过的问题
style_boy的博客
06-07 5941
在使用ClickHouse当中，相信大家都遇到过各种各样的报错信息，难道从入门到放弃? 下面我将常见的报错总结，供大家参考排查问题。 1.1 问题再现 Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of 301989888 bytes), maximum: 9.31 GiB 1.2 分析问题 默认情况下，ClickHouse会限制了SQL的查询内存使用的上线，当内存使用量大于该值的时候，查询被
clickhouse使用问题处理_记录
qq_36892706的博客
12-29 932
clickhouse安装使用，以及在小内存机器上的实践与问题处理
Clickhosue & ck & ch DB::Exception: Memory limit (total) exceeded
SpringBoots的博客
03-25 3968
1.异常信息 <Error> ConfigReloader: void DB::ConfigReloader::run(): Code: 241, e.displayText() = DB::Exception: Memory limi t (total) exceeded: would use 19.24 GiB (attempt to allocate chunk of 5242880 bytes), maximum: 18.63 GiB, Stack trace (when copyin
clickhouse: db::exception: memory limit (for query)overed（超出内存限制）
东城庞太师
05-13 8530
问题描述：clickhouse进行复杂查询时，包含多个left join和group by，会报错：超出内存限制。 原因：默认情况下，ClickHouse会限制group by使用的内存量，默认设置为9.31GB，由users.xml文件中max_memory_usage参数控制，可以分别为每个用户设置不同的内存量。 解决： 1.临时设置 SET max_memory_usage = 128000000000; #128G， 如果没有那么多的内存可用，ClickHouse可以通过设置这个“溢
Clickhouse查询优化问题记录
shouwantao3369的博客
06-07 3055
Clickhouse查询优化问题记录 问题一：内存不足Memory limit (total) exceeded 在做37亿数据全表JOIN时报错Memory limit (total) exceeded。 sql语句如下 SELECT * FROM reverse_order_line_10 AS rol LEFT JOIN reverse_order_10 AS ro ON rol.reverse_order_id = ro.id LEFT JOIN order_10 AS a ON ro.order_
ClickHouse 查询时报错：Memory limit (for query) exceeded: would use 9.38 GiB
赵英超的博客
12-30 3648
ClickHouse
Clickhouse 内存达到限制
司马懿的西山居
11-30 1万+
错误 localhost :) insert into `test`.`test_memory` select * mysql('192.168.100.101:3306','test',"test_memory','root','<密码>'); Received exception from server (version 21.11.3): Code: 241. DB::Exception
react-resize-observer-hook:ResizeObserver + React钩子
05-02
React调整观察者挂钩 ResizeObserver + React钩子 演示版 安装 yarn add react-resize-observer-hook 用法 import { useState , useRef } from 'react' ; import useResize from 'react-resize-observer-hook' ;...
traceroute-for-android:适用于Android的traceroute
05-24
它利用IP协议的生存时间（TTL）字段，并尝试从每个网关到主机的路径引发ICMP TIME_EXCEEDED响应。 渲染图像 新增至专案 dependencies { implementation ' com.wandroid:traceroute:<latest> ' } 使用简单 同步方式...
sliding-block-puzzle:使用搜索算法解决滑块难题
04-27
有两个证据可以证明这一点： 对于随机生成的15个难题，DFS总是会出现以下错误： java.lang.OutOfMemoryError: GC overhead limit exceeded如果我通过改组最终状态难题来创建15个拼图，那么随着改组次数的增加，DFS...
rate-limit::oncoming_police_car:通用限速器实施
05-01
use RateLimit \ Exception \ LimitExceeded ; use RateLimit \ Rate ; use RateLimit \ RedisRateLimiter ; use Redis ; $ rateLimiter = new RedisRateLimiter ( new Redis ()); $ apiKey = 'abc123' ; try { $ ...
Clickhouse 内存问题
杜海的博客
07-06 6744
User class threw exception: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: 10.121.8.8, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to alloca
内存超限java,clickhouse执行查询内存超出限制问题：Memory limit (total) exceeded
weixin_31684041的博客
03-10 7081
今天用clickhouse执行分布式查询报错：SQL 错误 [241]: ClickHouse exception, code: 241, host: 192.168.29.124, port: 18123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 15.44 GiB ...
Clickhouse学习笔记（8）—— 建表优化
WHY的博客
11-12 597
本文介绍了clickhouse建表优化的一些技巧，以及服务器常见参数的一些配置方法
clickhouse 报内存不足的问题
anyitian的博客
04-02 1万+
文章目录概述解决办法 概述 在使用ck清洗数据的时候报内存不足： Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.) 6%Received exception from server: Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query)
ClickHouse （十六）异常处理总结
热门推荐
写bug的小哥哥
05-10 1万+
DB::Exception: Nested type Array(String) cannot be inside Nullable type (version 20.4.6.53 (official build)) 原因：字段类型是Nullable(String)，在使用一些字符串函数如splitByString，他们对Nullable类型是不支持的，需要转成String。 解决的话，使用cast强转一下就行： select splitByString(',',cast(col as String)).
vue-router.mjs:1594 Uncaught RangeError: Maximum call stack size exceeded
最新发布
02-24
这个错误通常是由于无限递归调用导致的。在Vue Router中，可能会出现这个错误的原因是路由配置中存在循环引用或者路由守卫中的无限递归调用。 要解决这个问题，你可以检查以下几个方面： 1. 路由配置：检查你的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值