kafka主题删除_在Apache Kafka中记录压缩主题

当我开始阅读Kafka文档时，尽管压缩日志主题似乎是一个简单的概念，但我不清楚Kafka如何在内部将它们的状态保存在文件系统中。 本月我有时间阅读有关此功能的更多信息，并希望与您分享我的理解。

TL; DR

在本文中，我将介绍Kafka中的日志压缩主题。 然后，我将向您展示Kafka如何在内部将这些主题的状态保存在文件系统中。

先决条件

我假设您已经熟悉Apache Kafka的基本概念，例如代理，主题，分区，使用者和生产者。 另外，如果要运行示例命令，则必须运行Kafka代理和Zookeeper服务器。

什么是日志压缩主题

Kafka文档说：

日志压缩是一种提供更细粒度的每个记录保留的机制，而不是提供基于时间的粗粒度保留的机制。 这个想法是有选择地删除记录，其中我们使用相同的主键进行了更新。 这样，可以确保日志至少具有每个键的最后状态。

为了简化此描述，当在分区日志中有相同密钥的Kafka的较新版本时，Kafka会删除所有旧记录。 作为示例，请考虑对日志压缩主题"最新产品价格"的以下分区：

如您首先看到的，有两个键为p3的记录。 但是由于这是一个日志压缩的主题，Kafka会在后台线程中删除较旧的记录(在下一节中将对此进行更多介绍)。 现在假设我们有一个生产者，它将新记录发送到该分区。 生产者分别用键p6，p5，p5产生3条记录：

同样，Kafka Broker中的后台线程使用键p5和p6删除了较旧的记录。 请注意，压缩日