kafka手动提交

kafka手动提交

spring:
  kafka:
    track_topic: track.data.receive
    bootstrap-servers: localhost:9092
    listener:
      # 主题不存在不报错
      missing-topics-fatal: false
      # 并发消费
      concurrency: 3
      # 手动提交
      ack-mode: manual_immediate
    consumer:
      
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka 是一个分布式的流平台,多个消费者可以同时订阅一个主题,并且每个消费者可以独立地读取主题中的消息。在 Kafka 中,消费者可以选择自动提交偏移量(offset),也可以选择手动提交偏移量。 手动提交偏移量意味着消费者负责跟踪已经处理的消息的偏移量,并且在适当的时候手动提交Kafka 集群。手动提交偏移量可以带来更好的控制,消费者可以根据业务需求决定何时提交、如何提交以及提交的频率。 在 Kafka 中,有两种手动提交的方式:同步提交和异步提交。 同步提交是指消费者在处理完一批消息后,等待提交请求完成后再继续下一批消息的处理。这种方式虽然保证了提交的可靠性,但会导致额外的等待时间,降低了消费者的吞吐量。 异步提交是指消费者在处理完一批消息后,立即发起提交请求,但并不等待请求完成就继续处理下一批消息。这种方式能够提高消费者的吞吐量,但在网络或服务故障时可能会导致提交失败,需要进行异常处理。 为了保证消费者在发生故障时不会丢失已经处理的消息和已经提交的偏移量,可以通过设置消费者的 auto.commit.offset 参数,将偏移量保存在 Kafka 服务端。这样,在消费者重新启动时,可以从上次提交的偏移量开始继续消费消息。 总的来说,手动提交偏移量可以提供更好的控制和可靠性,但需要消费者自己管理偏移量和处理提交请求的逻辑。消费者需要根据自身的需求选择适合的提交方式,并进行适当的异常处理,以保证消息的完整性和正确性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值