记一次线上kafka消费的耗时太久导致触发rebalance然后导致重复消费问题

最新推荐文章于 2024-03-28 09:23:00 发布
最新推荐文章于 2024-03-28 09:23:00 发布
阅读量1.5k 收藏 3
点赞数 1
文章标签： kafka 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jack_shuai/article/details/128446943
版权

重复消费最常见的原因：re-balance问题,通常会遇到消费的数据，处理很耗时，导致超过了Kafka的session timeout时间（0.10.x版本默认是30秒），那么就会re-balance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。

有一次做业务，由于我们消费的Kafka消息，然后调用下游消费这个消息，但是下游的消费能力有限，我们只能对消费的消息做限流，导致超过了Kafka的session timeout时间（0.10.x版本默认是30秒，那么就会re-balance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。

参考blog:kafka重复消费问题_王同学加油的博客-CSDN博客_kafka重复消费

small&snail
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
记一次线上kafka重复消费的问题解决及思考
Maybe_9527的博客
04-01 2306
kafka重复消费原因及解决方案
使用Kafka时一定要注意防止消费速度过慢触发rebalance而导致的重复消费
王鸿飞的专栏
04-02 7298
在Java应用中，我们往往会使用spring-kafka组件简单的设置一下group_id, topic就开始消费消息了，其实这样会埋下巨大的安全隐患，即当消费速度过慢时有可能会触发rebalance, 这批消息被分配到另一个消费者，然后新的消费者还会消费过慢，再次rebalance, 这样一直恶性循环下去。发生这种情况最明显的标志就是日志里能看到CommitFailedException异常，然...
kafka重复消费的问题
最新发布
tianxie1990的博客
03-28 153
6、服务器配置比较低，kafka的内存分配了1G,应用的内存2G,服务器还有其他应用,服务器总共16G的内存，剩余的空闲内存160M。3、这个消息被消费了两次，两次的时间是连上了，第一次是消费了12秒，第二次在12秒之后又消费了第二次消费耗时2秒。链接：https://juejin.cn/post/7350971114971889683。4、查看日志没有发现rebalance相关的日志，没有提交不了偏移量相关的日志。2、kafka分区只有一个，消费者组只有一个消费者，系统没有重启过。
kafka一直rebalance故障，重复消费
weixin_30907523的博客
12-05 1765
今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误日志如下 08-09 11:01:11 131 pool-7-thread-3 ERROR [] - commit failed org.apache.kafka.clients.consumer.CommitFailedExce...
kafka消费慢问题处理
zx_csdn_的博客
12-17 338
发现问题还是没有解决，于是我注销数据库入库操作，只打印，发现及时消费所有消息，于是给消息处理加上多线程，问题解决。发现每秒只能消费500条数据，于是我怀疑是拉去能力不足，于是设置每秒拉去2000条，最长0.5秒拉一次。生产者每秒生产1000条告警。
kafka超时导致的重复消费的问题
killer0128的专栏
08-21 7584
今天看到群友遇到个问题： 问题的表象是超时导致autoCommit失败，从而导致重复消费 错误内容是： 2018-08-21 00:00:00.938 [kudu-0-C-1] WARN o.a.k.c.consumer.internals.ConsumerCoordinator - Auto offset commit failed for group sm: Commit canno...
Kafka导致重复消费原因和解决方案
LewinLea的技术博客
07-13 7943
问题分析 导致kafka的重复消费问题原因在于，已经消费了数据，但是offset没来得及提交（比如Kafka没有或者不知道该数据已经被消费）。 总结以下场景导致Kakfa重复消费： 原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等）。 原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重复消费。 例如： try { consumer.unsub
Kafka处理数据超时导致Offset回滚，重复消费
Virgil_K2017的博客
08-23 1383
Kafka consumer重复消费
Kafka问题优化之消费重复问题
长安不及十里的博客
10-30 2426
一 重复消费 1.1 原因 强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等） 网络波动，导致offset没提交 当消费者消费的速度很慢的时候，可能在一个session周期内还未完成，导致心跳机制检测报告出问题 消费后的数据，当offset还没有提交时，partition就断开连接 最根本的原因是消费之后的offset未提交 1.2 解决方法 第一种思路是提高消费能力，提高单条消息的处理速度，例如对消息处理中比 较耗时的步骤可通过异步的方式进行处理、利用多线程处理等。在
spriongboot-kafka 防止消费速度过慢触发rebalance而导致的重复消费
zhuchunyan_aijia的博客
08-13 1898
org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the conf..
Kafka常见的导致重复消费原因和解决方案.docx
10-26
Kafka重复消费是一个常见的问题，会导致数据重复处理，影响系统的稳定性和性能。本文将讨论Kafka重复消费的常见原因和解决方案。 原因1：强行kill线程，导致消费后的数据，offset没有提交 当消费系统宕机、重启等...
Java实现Kafka生产者消费者代码实例
08-19
主要介绍了Java实现Kafka生产者消费者代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
kafka 生成消费dome
02-25
kafka 生成消费dome,可正常生产与消费
kafka分区消费策略
02-21
kafka指定分区消费，发送到指定分区
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040
python confluent_kafka 关于消费者消费时间过长，导致的leave group
weixin_43632687的博客
08-25 1545
max poll ms
Kafka如何防止消费速度过慢触发rebalance导致重复消费
xiaowangbadan0_0的博客
05-10 953
Kafka如何防止消费速度过慢触发rebalance导致重复消费
Kafka-python 客户端导致的 cpu 使用过高，且无法消费消息的问题
06-02
这个问题很可能是由于 Kafka-python 客户端的配置不当或者代码实现存在问题导致的。以下是一些可能的解决方案： 1. 调整 Kafka-python 客户端的配置，例如增加 `max_poll_interval_ms` 和 `max_poll_records` 等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值