kafka未消费到消息,出现消息丢失?

kafka消息未消费问题
生产环境出现一个业务场景,一个任务执行完后会去更新数据库中最后执行时间这个字段,当时生产环境系统建三个任务同时跑,每次执行成功后只有一个任务的最后执行时间被更新,其他两个没有更新。这个更新操作是放到kafka进行消费,每次只有一个消费成功,另外两个均没有消费,消息也正常生产。经过排查也没发现消息堆积,消费不过来的情况。最后通过查阅资料了解到,**kafka的partition数要比消费者要多,否者可能导致一些线程消费不到消息。**当时生产环境有300个消费数,只有三个分区,所以出现了这个消费不到的问题,经过调整分区数后最后该问题被解决了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值