关于Kafka日志留存策略的讨论

　　关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。

　　所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个方面分别介绍留存策略：

　　留存策略类型

　　留存机制及其工作原理一、留存策略类型

　　目前，与日志留存方式相关的策略类型主要有两种：delete和compact。这两种留存方式的机制完全不同。本文主要讨论针对delete类型的留存策略。用户可以通过设置broker端参数log.cleanup.policy来指定集群上所有topic默认的策略类型。另外也可以通过topic级别参数cleanup.policy来为某些topic设置不同于默认值的策略类型。当前log.cleanup.policy参数的默认值是[delete,compact]，这是一个list类型的参数，表示集群上所有topic会同时开启delete和compact两种留存策略——这是0.10.1.0新引入的功能，在0.10.1.0之前，该参数只能两选一，不能同时兼顾，但在实际使用中很多用户都抱怨compact类型的topic存在过期key消息未删除的情况，故社区修改了该参数配置，允许一个topic同时开启两种留存策略。【大数据开发学习资料领取方式】：加入大数据技术学习交流群522189307，点击加入群聊，私信管理员即可免费领取