原因:
默认情况下,ClickHouse会限制group by使用的内存量(它使用 hash table来处理group by),默认设置为9.31GB,由users.xml文件中
max_memory_usage
参数控制,可以分别为每个用户设置不同的内存量。
解决:
1.临时设置
SET max_memory_usage = 128000000000; #128G
如果没有那么多的内存可用,ClickHouse可以通过设置这个“溢出”数据到磁盘:
set max_bytes_before_external_group_by=20000000000; #20G
set max_memory_usage=40000000000; #40G
set max_bytes_before_external_group_by=20000000000; #20G,默认值为0,表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。
# 使用max_bytes_before_external_group_by时,建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成:
#(1)读取数据并形成中间数据
#(2)合并中间数据。临时数据的转存只会发生在第一个阶段。
# 如果没有发生临时文件的转存,那么阶段二将最多消耗与1阶段相同的内存大小。
set max_memory_usage=40000000000; #40G
将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。
如果发现还是报内存不够或者服务器直接崩溃,设置partial_merge_join = 1,但是运行速度会很慢。
2.全局设置
在users.xml文件中为每个用户设置参数:
<!-- Profiles of settings. -->
<profiles>
<default>
<max_memory_usage>20000000000</max_memory_usage>
<max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by>
<load_balancing>random</load_balancing>
</default>
<readonly>
<readonly>1</readonly>
</readonly>
</profiles>