kafka消费信息时，产生重复消费的情况 - 20190121

最新推荐文章于 2024-08-09 11:06:07 发布

大竹薙子

最新推荐文章于 2024-08-09 11:06:07 发布

阅读量1.6k

点赞数

分类专栏：我的工作经验文章标签：工作经验

本文链接：https://blog.csdn.net/weixin_42838993/article/details/87380959

版权

在Kafka消费过程中，由于消息处理超时未完成，consumer coordinator无法接收到心跳，导致offset自动提交失败，进而引发partition重新分配。这使得客户端重新消费已处理的数据，形成循环。解决方法包括调整一次拉取的最大字节数或增大超时时间，以减少数据量并确保在心跳期间能消费完队列中的数据。

摘要由CSDN通过智能技术生成

Kafka相关问题：

Marking
the coordinator 2147483283 dead.
Error UNKNOWN_MEMBER_ID occurred while committing offsets for group test Auto offset commit failed: Commit cannot be completed due to group rebalance 
Error UNKNOWN_MEMBER_ID occurred while committing offsets for group test Auto offset commit failed:
Attempt to join group test failed due to unknown member id, resetting and retrying.
Attempt to heart beat failed since the group is rebalancing, try to re-join group.we

问题描述：kafka消费信息时，产生重复消费的情况。

问题原因：

大概意思是，在kafka超时时间内，有消息没有处理完成，consumer coordinator会因为没有收到心跳而挂掉，然后自动提交offset失败，然后重新分配partition给客户端。导致以下问题：

1、由于自动提交offset失败，导致重新分配了partition的客户端又重新消费之前的一批数据；

2、接着consumer重新消费，又出现了消费超时，无限循环下去。

消费者消费不过来，数据信息量大，自动commit超时。

设置：max.partition.fetch.bytes:一次拉取最大