clickhouse 报内存不足的问题

最新推荐文章于 2024-09-02 17:57:51 发布

颍天

最新推荐文章于 2024-09-02 17:57:51 发布

阅读量1.3w

点赞数 5

分类专栏： clickhouse 文章标签：数据库大数据

本文链接：https://blog.csdn.net/anyitian/article/details/115390396

版权

当使用ClickHouse进行数据清洗时遇到内存不足的问题，官方文档建议通过调整`max_memory_usage`参数来限制group by操作的内存使用。可以临时或全局设置此参数，甚至启用数据到磁盘的溢出策略。若内存仍然不足，可尝试设置`partial_merge_join=1`，但会影响性能。在`users.xml`中修改配置可实现全局生效。

摘要由CSDN通过智能技术生成

文章目录

概述
解决办法

概述

官方文档地址

在使用ck清洗数据的时候报内存不足：

Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.)        6%Received exception from server:
Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. 
DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB: 
(while reading column hits):

默认情况下，ClickHouse会限制group by使用的内存量，默认设置为9.31GB，由users.xml文件中max_memory_usage参数控制，可以分别为每个用户设置不同的内存量。