Clickhouse：日志表占用大量磁盘空间怎么办？

最新推荐文章于 2024-07-01 09:52:47 发布

liujg79

最新推荐文章于 2024-07-01 09:52:47 发布

阅读量6k

点赞数 2

分类专栏：数据仓库文章标签：数据库 sql clickhouse 日志表

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/liujg79/article/details/124857754

版权

本文介绍了Clickhouse日志表如query_log等因长时间未清理导致占用大量磁盘空间的问题。通过查看system.parts系统表可以了解日志表的大小。清理方法包括使用mutation语句或直接删除分区，后者在分区过大时需要配合创建force_drop_table标记文件。为避免手动清理，建议设置日志表的TTL自动清理策略，如保存15天数据。详细操作参考ClickHouse官方文档。

摘要由CSDN通过智能技术生成

背景

clickhouse有很多系统表(参见https://clickhouse.com/docs/en/operations/system-tables），其中一些用来存储日志，比如query_log、query_thread_log、trace_log。默认情况下，ClickHouse不清理日志，因此随着时间推移，这些表会占用大量磁盘空间，有导致系统宕机的风险。

查看日志表的大小

可以通过system.parts查看各个表的大小。

SELECT 
    sum(rows) AS `总行数`,
    formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
    formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,
    round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`,
    `table` AS `表名`
FROM system.parts where database = 'system' group by `table`

结果如下&#x

最低0.47元/天解锁文章

liujg79

关注

2
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
Clickhouse：日志表占用大量磁盘空间怎么办？

背景clickhouse有很多系统表(参见https://clickhouse.com/docs/en/operations/system-tables），其中一些用来存储日志，比如query_log、query_thread_log、trace_log。默认情况下，ClickHouse不清理日志，因此随着时间推移，这些表会占用大量磁盘空间，有导致系统宕机的风险。查看日志表的大小可以通过system.parts查看各个表的大小。SELECT sum(rows) AS `总行数
复制链接

扫一扫

专栏目录