kafka 是如何清理过期数据

kafka 将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。

数据清理的方式

1、删除

log.cleanup.policy=delete启用删除策略

直接删除，删除后的消息不可恢复。可配置以下两个策略：

#清理超过指定时间清理：  log.retention.hours=16

#超过指定大小后，删除旧的消息： log.retention.bytes=1073741824

为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照副本上进行的，这类似于 Java 的 CopyOnWriteArrayList。

2、压缩

将数据压缩，只保留每个 key 最后一个版本的数据。

首先在 broker 的配置中设置log.cleaner.enable=true启用 cleaner，这个默认是关闭的。

在 topic 的配置中设置log.cleanup.policy=compact启用压缩策略。