Kafka消息的保留策略有哪些，它是如何工作的？

用心去追梦

于 2024-09-18 14:48:41 发布

阅读量142

点赞数 3

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/qq_33240556/article/details/142333281

版权

Apache Kafka 提供了几种不同的消息保留策略，这些策略决定了消息在主题中存储的时间长度。了解这些策略对于优化存储空间使用、确保数据的可访问性和满足业务需求至关重要。

基于时间的保留（Time-Based Retention）

在基于时间的保留策略中，消息会在主题中保留固定的时间长度，无论这些消息是否已经被消费。当消息的年龄（从发布到当前的时间）超过了设定的时间阈值后，这些消息就会被删除。
- 配置: retention.ms（毫秒）
- 默认值: 604800000（7天）
例如，如果你设置 retention.ms=86400000（一天），那么所有发布到该主题的消息将在一天后被删除。
基于大小的保留（Size-Based Retention）

在基于大小的保留策略中，消息会被保留直到主题的日志文件大小超过了一定的阈值。当主题的总大小超过这个限制时，最老的消息将会被删除，直到大小回到阈值以下。
- 配置: retention.bytes
- 默认值: -1（表示无限制）
例如，如果你设置了 retention.bytes=5368709120（5GB），那么当主题的总大小达到5GB时，系统将开始删除最旧的消息。
混合保留策略

Kafka 允许同时使用时间和大小两种保留策略。在这种情况下，消息将会在满足任一条件时被删除，即要么消息的年龄超过了时间限制，要么主题的大小超过了大小限制。

例如，如果你同时设置了 retention.ms=86400000 和 retention.bytes=5368709120，那么消息将在一天后或主题大小达到5GB时被删除，取先到达的一个条件为准。

Kafka 通过定期检查主题的保留策略来决定何时删除旧消息。这个检查是由 Kafka 的 broker 定期执行的，通常这个检查间隔是通过 retention.check.interval.ms 配置项来控制的，默认情况下是每隔30分钟检查一次。

下面是一个简单的配置示例，展示如何设置基于时间和大小的消息保留策略：

# 设置基于时间的保留策略，消息保留7天
retention.ms=604800000

# 设置基于大小的保留策略，主题大小不超过10GB
retention.bytes=10737418240

请注意，实际配置需要在 Kafka 的 broker 配置文件中进行设置，并且可能需要根据实际部署环境和需求进行调整。

通过合理设置保留策略，不仅可以有效地利用存储资源，还能确保数据在必要的时间内可供访问。同时，这也为监控和管理 Kafka 集群提供了依据。

关注