kafka 重复消费问题

最新推荐文章于 2024-12-02 17:33:37 发布

落S幕

最新推荐文章于 2024-12-02 17:33:37 发布

阅读量1.2k

点赞数 3

文章标签： kafka 分布式 java

本文链接：https://blog.csdn.net/m0_38009064/article/details/122219701

版权

使用kafka版本 0.10.0.0 进行消息消费时发现每隔一天会出现重复消费，经查阅与offsets.retention.minutes配置有关

在kafka 新版本中官方文档对该配置的解释为：

After a consumer group loses all its consumers (i.e. becomes empty) its offsets will be kept for this retention period before getting discarded. For standalone consumers (using manual assignment), offsets will be expired after the time of last commit plus this retention period.

意思是消费组所有消费者都下线kafka会对消费位移记录保持 offsets.retention.minutes 配置的值的时间，此时间后会删除消费位移记录，此时消费者重新上线进行消费会从最开始的记录开始消费出现重复消费

但在0.10.0.0版本该值的官方解释为：