Spring Kafka消费模式(single, batch)及确认模式(自动、手动)示例

目录

Spring Kafka消费消息的模式分为2种模式(对应spring.kafka.listener.type配置):

  • single - 每次消费单条记录
  • batch - 批量消费消息列表

且每种模式都分为2种提交已消费消息offset的ack模式:

  • 自动确认
  • 手动确认

接下来依次讲解这两种消费模式及其对应的ack模式的示例配置及代码。

1. 单记录消费listener.type=single

本章节先来讲讲record模式 - 单记录消费,且分为自动确认和手动确认2种方式来提交已消费消息offset。

1.1 单记录消费 - 自动确认

即由Spring Kafak框架按照配置规则自动提交已消费消息offset,无需程序手动编码控制。

需注意如下对应配置:

# ============ 方式1:定时自动提交[不推荐] =====================
# 开启自动提交(按周期)已消费offset
spring.kafka.consumer.enable-auto-commit: true
# 自动提交已消费offset时间价格(配置enable-auto-commit=true时使用)
spring.kafka.consumer.auto-commit-interval: 1s

# ========= 方式2:通过ack-mode设置自动提交[推荐] =============
# 禁用自动提交(按周期)已消费offset
spring.kafka.consumer.enable-auto-commit: false
# listener类型为单条记录single类型(默认为single单条消费模式)
spring.kafka.listener.type: single
# offset提交模式为record
spring.kafka.listener.ack-mode: record

注:
关于消费者提交已消费消息offset的相关配置说明:

  • spring.kafka.consumer.enbable-auto-commit
    • true 自动提交已消费消息offset
      • auto-commit-interval 设置自动提交间隔
    • fasle 由程序控制已消费消息offset提交
      • spring.kafka.listener.ack-mode 已消费offset提交模式

spring.kafka.listener.ack-mode列表(详细说明参见:SpringKafka - Committing Offsets

ack-mode模式

说明

自动提交

RECORD
单记录

当每一条记录被消费者监听器(ListenerConsumer)处理之后提交

BATCH(默认)
批量

当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后提交

TIME
超时

当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,距离上次提交时间大于TIME时提交
(通过spring.kafka.listener.ack-time设置触发时间)

COUNT
超过消费数量

当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,被处理record数量大于等于COUNT时提交
(通过spring.kafka.listener.ack-count设置触发数量)

COUNT_TIME
超时或超数量

TIME或COUNT 有一个条件满足时提交

MANUAL
手动提交(ack)后同BATCH

当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后, 手动调用Acknowledgment.acknowledge()后提交

需要手动使用
Acknowledgment参数提交

MANUAL_IMMEDIATE
手动立即提交

手动调用Acknowledgment.acknowledge()后立即提交

需要手动使用
Acknowledgment参数提交

消费端配置示例1 - 定时自动提交[不推荐]

spring:
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 自动提交(按周期)已消费offset
      enable-auto-commit: true
      # 自动提交已消费offset时间价格(配置enable-auto-commit=true时使用)
      auto-commit-interval: 1s
      ...
    # ====================================================
    # ============= 消费者监听器(及线程池)配置 ==============
    # ========&
  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spring KafkaSpring Framework的一个扩展模块,它为Kafka消息队列提供了更简单的集成方式。Spring Kafka对于消费者端的源码实现主要集中在以下几个方面: 1. 消息监听器容器:Spring Kafka通过`KafkaListenerContainer`接口定义了一个消息监听器容器,用于管理消息监听器的注册、启动、停止和管理消费者的线程池。消息监听器容器在初始化时会根据配置创建一个或多个`KafkaMessageListenerContainer`实例,并使用`ConcurrentMessageListenerContainer`作为默认实现。 2. 消息监听适配器:Spring Kafka提供了`KafkaMessageListenerContainer`和`MessageListenerAdapter`两个主要的接口来实现消息监听器的适配。`KafkaMessageListenerContainer`用于接收Kafka消息并将其传递给监听器方法进行处理。`MessageListenerAdapter`用于将接收到的Kafka消息转换为Java对象,并将其传递给实际的监听器方法进行处理。 3. 消息消费者的配置:Spring Kafka支持通过`@KafkaListener`注解或手动配置`KafkaMessageListenerContainer`来实现消费者的配置。通过注解方式,可以在方法上添加`@KafkaListener`注解,并指定要消费Kafka主题、分区和消费者组。通过手动配置方式,可以通过`KafkaMessageListenerContainer`的相关配置来自定义消费者的一些属性,比如主题、分区、消费者组、消息过滤器等。 4. 消息消费的实现:在消息监听器方法中,可以通过`ConsumerRecord`参数接收到Kafka消息记录,并在方法内部对消息进行处理。根据业务需求可以对消息进行转换、存储、分析等操作。另外,Spring Kafka还提供了一些内置的类和工具,比如`KafkaTemplate`、`KafkaHeaders`等,用于简化消息的发送和处理。 总之,Spring Kafka通过对消息监听器容器、消息监听适配器和消息消费者的配置以及消息消费的实现等方面的源码实现,提供了一种简单、灵活的方式来集成和消费Kafka消息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值