ClickHouse | TTL策略

背景描述

  近期因CK中query_log表空间占用过大问题，导致磁盘使用率很高，通过查阅资料发现可以通过TTL策略进行清理。同时补充了一些相关的查询SQL，以及注意事项（供参考）。

TTL策略

alter table system.表名 modify TTL 日期字段 + INTERVAL 天数 DAY;

设置ttl策略的表必须有日期字段，DAY可调整为月、年。

注意事项

• CK服务启停后，设置TTL策略的表会自动物理化，生成 “表名_序列”（query_log_0）的临时表

• 设置TTL策略时，需要先确认表的占用情况，以及物理磁盘占用情况

  • 假设180天之前的表数据占用50G，清理时磁盘空间会增加约100G的占用空间，会慢慢自动释放，周期约1H

  • 建议在清理表占用空间时，如果数据无需可直接执行truncate

• 执行truncate表释放空间时，如果表数据超过50G，无法执行。需要先清理表数据（drop表分区），小于50G时可执行truncate

• CK命令行执行SQL脚本时不能有换行，同时以分号结尾

• CK命令行脚本执行超时时间300秒

其他相关SQL

# 查看系统表占用大小

select table, formatReadableSize(sum(bytes)) as size from system.parts where  active group by table;

# 查看单表占用大小

select formatReadableSize(sum(bytes)) as size from system.parts where table = '表名' ;

# 查看表分区

select * from system.parts where table = '表名' ;

# 删除表分区

alter table system.表名 drop partition 分区维度;

# 清理表数据

truncate table system.表名;