给ClickHouse增加内存

最新推荐文章于 2024-11-19 10:30:57 发布

一篮小土

最新推荐文章于 2024-11-19 10:30:57 发布

阅读量4k

点赞数

分类专栏： Linux/Shell ClickHouse 文章标签： linux

本文链接：https://blog.csdn.net/weixin_43628593/article/details/104860062

版权

当执行复杂SQL聚合时，ClickHouse因内存不足报错。通过创建和配置swapfile来扩展交换空间，避免修改SQL。首先检查当前交换空间，创建大小为4GB的swapfile，设置权限并启用。将设置写入fstab，SQL得以正常执行。注意，虽然ClickHouse分布式存储，但聚合操作在单机上进行，消耗内存较大。若需更多空间，可关闭swapfile后重复步骤。

摘要由CSDN通过智能技术生成

背景

在执行一个较为复杂的SQL聚合的时候，报错了：
【报错】
DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: 12, strerror: Cannot allocate memory.

可见是内存不够了（CK虽然是分布式存储但是集中计算）
一个办法是修改SQL，比如说用临时表之类的，但是那多麻烦啊。我决定先用swap内存试试。

#用swapfile配置交换空间

准备
sudo swapon --show：可以看到当前的交换空间（没显示就代表没有）
free -h：可以看见当前的内存使用情况
创建swapfile文件
sudo dd if=/dev/zero of=/swapfile count=4096 bs=1MiB

[root@ch100 ~]# sudo dd if=/dev/zero of=/swapfile count=8192 bs=1MiB
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 143.337 s, 59.9 MB/s