ClickHouse 查询时报错：Memory limit (for query) exceeded: would use 9.38 GiB

ZhaoYingChao88

已于 2022-12-30 11:10:12 修改

阅读量4.2k

点赞数

分类专栏： clickhouse 文章标签： clickhouse

于 2022-12-30 10:33:48 首次发布

本文为博主原创文章，未经博主允许不得转载。如果对你有帮助，请记得点赞支持，谢谢！

本文链接：https://blog.csdn.net/ZYC88888/article/details/128492005

版权

clickhouse 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

原因：

默认情况下，ClickHouse会限制group by使用的内存量（它使用 hash table来处理group by）,默认设置为9.31GB，由users.xml文件中

max_memory_usage

参数控制，可以分别为每个用户设置不同的内存量。

解决：
1.临时设置

SET max_memory_usage = 128000000000; #128G

如果没有那么多的内存可用，ClickHouse可以通过设置这个“溢出”数据到磁盘：

set max_bytes_before_external_group_by=20000000000; #20G
set max_memory_usage=40000000000; #40G

set max_bytes_before_external_group_by=20000000000; #20G，默认值为0，表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。

# 使用max_bytes_before_external_group_by时，建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成：
#（1）读取数据并形成中间数据 
#（2）合并中间数据。临时数据的转存只会发生在第一个阶段。
# 如果没有发生临时文件的转存，那么阶段二将最多消耗与1阶段相同的内存大小。
set max_memory_usage=40000000000; #40G

将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。

如果发现还是报内存不够或者服务器直接崩溃，设置partial_merge_join = 1，但是运行速度会很慢。

2.全局设置
在users.xml文件中为每个用户设置参数：

 <!-- Profiles of settings. -->
    <profiles>
        <default>
            <max_memory_usage>20000000000</max_memory_usage>
            <max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by>
            <load_balancing>random</load_balancing>
        </default>

        <readonly>
            <readonly>1</readonly>
        </readonly>
    </profiles>