Kafka日志清理之LogDeletion

最新推荐文章于 2024-04-17 10:20:47 发布

与大

最新推荐文章于 2024-04-17 10:20:47 发布

阅读量245

点赞数

分类专栏： Cla_Mysql

本文链接：https://blog.csdn.net/chuasnpi/article/details/89209258

版权

本文介绍了Kafka的日志清理策略，包括Log Deletion和Log Compaction。Log Deletion基于时间、日志大小和日志起始偏移量进行删除，而Log Compaction则是保留每个key的最新消息。Kafka通过log.cleanup.policy参数配置清理策略，并通过日志删除任务周期性检查并删除过期日志分段。详细讨论了各个策略的实现细节和配置选项。

摘要由CSDN通过智能技术生成

原 Kafka日志清理之Log Deletionhttps://blog.csdn.net/u013256816/article/details/80418297版权声明：本文为博主原创文章，未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/80418297
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。
Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件，而日志文件又可以分为多个日志分段文件，这样也便于日志的清理操作。Kafka提供了两种日志清理策略：
日志删除（Log Deletion）：按照一定的保留策略来直接删除不符合条件的日志分段。
日志压缩（Log Compaction）：针对每个消息的key进行整合，对于有相同key的的不同value值，只保留最后一个版本。
我们可以通过broker端参数log.cleanup.policy来设置日志清理策略，此参数默认值为“delete”，即采用日志删除的清理策略。如果要采用日志压缩的清理策略的话，就需要将log.cleanup.policy设置为“compact”，并且还需要将log.cleaner.enable（默认值为true）设定为true。通过将log.cleanup.policy参数设置为“delete,compact”还可以同时支持日志删除和日志压缩两种策略。日志清理的粒度可以控制到topic级别，比如与log.cleanup.policy对应的主题级别的参数为cleanup.policy，为了简化说明，本文只采用bro