Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结

Kafka消费者出现这种日志,说明kafka消费者拉取的偏移量,在Kafka服务端没有,就会进行偏移量的重置。

为什么会没有偏移量呢?可能是因为该偏移量的数据删除了。也可能是因为程序里调用了seek方法,手动指定了偏移量,而这个偏移量在Kafka中还没有存储到数据,也会报out of range。

博主就是因为在负载均衡监听器中,获取consumer在kafka服务端的偏移量时,调用了consumer.commited()方法。该方法返回的就是下一个要拉取的偏移量,而在这里我又加了1。所以造成了out of range的情况出现。

出现out of range后,kafka会自动重置偏移量。针对上述的第一种out of range的情况,即偏移量数据丢失了。那么kafka会将偏移量自动重置到下一个有数据的偏移量上。例如,偏移量1-10中,3-5偏移量的数据丢失了。那么,kafka拉取到3时,会报out of range日志,此时kafka会将偏移量重置到6上。

而针对第二种情况的out of range。即超出了现有偏移量的范围,此时kafka会根据consumer设置的reset策略进行重置。如果设置的是earliest,则会重置到开头,重新消费。如果设置的是latest,则会重置到最近的一个有偏移量的地方。
所以,当我们设置为earliest时,且程序中调用seek手动设定偏移量时,如果偏移量计算不好,很容易造成从头开始消费的后果。针对这种情况,我们可以把reset属性设置成none。重置时抛出异常,来避免从头开始重复消费的后果。

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敲代码的小小酥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值