当我开始阅读Kafka文档时,尽管压缩日志主题似乎是一个简单的概念,但我不清楚Kafka如何在内部将它们的状态保存在文件系统中。 本月我有时间阅读有关此功能的更多信息,并希望与您分享我的理解。
TL; DR
在本文中,我将介绍Kafka中的日志压缩主题。 然后,我将向您展示Kafka如何在内部将这些主题的状态保存在文件系统中。
先决条件
我假设您已经熟悉Apache Kafka的基本概念,例如代理,主题,分区,使用者和生产者。 另外,如果要运行示例命令,则必须运行Kafka代理和Zookeeper服务器。
什么是日志压缩主题
Kafka文档说:
日志压缩是一种提供更细粒度的每个记录保留的机制,而不是提供基于时间的粗粒度保留的机制。 这个想法是有选择地删除记录,其中我们使用相同的主键进行了更新。 这样,可以确保日志至少具有每个键的最后状态。
为了简化此描述,当在分区日志中有相同密钥的Kafka的较新版本时,Kafka会删除所有旧记录。 作为示例,请考虑对日志压缩主题"最新产品价格"的以下分区:
如您首先看到的,有两个键为p3的记录。 但是由于这是一个日志压缩的主题,Kafka会在后台线程中删除较旧的记录(在下一节中将对此进行更多介绍)。 现在假设我们有一个生产者,它将新记录发送到该分区。 生产者分别用键p6,p5,p5产生3条记录:
同样,Kafka Broker中的后台线程使用键p5和p6删除了较旧的记录。 请注意,压缩日