Spring Kafka消费模式（single, batch）及确认模式（自动、手动）示例

最新推荐文章于 2025-02-26 11:47:55 发布
最新推荐文章于 2025-02-26 11:47:55 发布
阅读量3.5k 收藏 13
点赞数 4
分类专栏： 面试 学习路线 阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/drnrrwfs/article/details/126114152
版权
本文介绍了Spring Kafka的两种消费模式（single和batch）及其对应的自动和手动确认模式。详细讲解了每种模式的配置及代码示例，包括单记录消费的自动和手动确认，批量消费的自动和手动确认，并探讨了手动模式下acknowledge和nack方法的使用。
摘要由CSDN通过智能技术生成

目录

Spring Kafka消费消息的模式分为2种模式（对应spring.kafka.listener.type配置）：

  • single - 每次消费单条记录
  • batch - 批量消费消息列表

且每种模式都分为2种提交已消费消息offset的ack模式：

  • 自动确认
  • 手动确认

接下来依次讲解这两种消费模式及其对应的ack模式的示例配置及代码。

1. 单记录消费listener.type=single

本章节先来讲讲record模式 - 单记录消费，且分为自动确认和手动确认2种方式来提交已消费消息offset。

1.1 单记录消费 - 自动确认

即由Spring Kafak框架按照配置规则自动提交已消费消息offset，无需程序手动编码控制。

需注意如下对应配置：

# ============ 方式1：定时自动提交[不推荐] =====================
# 开启自动提交（按周期）已消费offset
spring.kafka.consumer.enable-auto-commit: true
# 自动提交已消费offset时间价格（配置enable-auto-commit=true时使用）
spring.kafka.consumer.auto-commit-interval: 1s

# ========= 方式2：通过ack-mode设置自动提交[推荐] =============
# 禁用自动提交（按周期）已消费offset
spring.kafka.consumer.enable-auto-commit: false
# listener类型为单条记录single类型（默认为single单条消费模式）
spring.kafka.listener.type: single
# offset提交模式为record
spring.kafka.listener.ack-mode: record

注：
关于消费者提交已消费消息offset的相关配置说明：

  • spring.kafka.consumer.enbable-auto-commit
    • true 自动提交已消费消息offset
      • auto-commit-interval 设置自动提交间隔
    • fasle 由程序控制已消费消息offset提交
      • spring.kafka.listener.ack-mode 已消费offset提交模式

spring.kafka.listener.ack-mode列表（详细说明参见：SpringKafka - Committing Offsets）

ack-mode模式

说明

自动提交

RECORD
单记录

当每一条记录被消费者监听器（ListenerConsumer）处理之后提交

BATCH（默认）
批量

当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后提交

TIME
超时

当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，距离上次提交时间大于TIME时提交
(通过spring.kafka.listener.ack-time设置触发时间)

COUNT
超过消费数量

当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，被处理record数量大于等于COUNT时提交
(通过spring.kafka.listener.ack-count设置触发数量)

COUNT_TIME
超时或超数量

TIME或COUNT　有一个条件满足时提交

MANUAL
手动提交（ack）后同BATCH

当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后, 手动调用Acknowledgment.acknowledge()后提交

需要手动使用
Acknowledgment参数提交

MANUAL_IMMEDIATE
手动立即提交

手动调用Acknowledgment.acknowledge()后立即提交

需要手动使用
Acknowledgment参数提交

消费端配置示例1 - 定时自动提交[不推荐]

spring:
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 自动提交（按周期）已消费offset
      enable-auto-commit: true
      # 自动提交已消费offset时间价格（配置enable-auto-commit=true时使用）
      auto-commit-interval: 1s
      ...
    # ====================================================
    # ============= 消费者监听器（及线程池）配置 ==============
    # ====================================================
    listener:
      # listener类型
      # single | batch
      type: single
    # ====================================================
    # ============= 具体业务Kafka定义=======================
    # ====================================================
    biz1:
      topic: topic1
      consumer:
        group: group1

消费端配置示例2 - 通过ack-mode设置自动提交[推荐]
listener自动提交offsetd的ack-mode模式包括：RECORD | BATCH | TIME | COUNT | COUNT_TIME ，
且使用相关自动模式不可在@KafkaListener标注方法中使用Acknowledgment参数。

spring:
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 禁用自动提交（按周期）已消费offset
      enable-auto-commit: false
      ...
    # ====================================================
    # ============= 消费者监听器（及线程池）配置 ==============
    # ====================================================
    listener:
      # listener类型
      # single | batch
      type: single
      # 已消费offset提交模式（仅在enable-auto-commit=false时才需明确指定）
      # 单记录  | 批量         | 超时  | 超过消费数量 | 超时或超过数量 | 手动提交（ack）后同BATCH | 手动立即提交
      # RECORD | BATCH（默认） | TIME | COUNT      | COUNT_TIME   | MANUAL                | MANUAL_IMMEDIATE
      # https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-offsets
      # 注：listener自动提交offset模式包括：RECORD | BATCH | TIME | COUNT | COUNT_TIME ，
      #    且使用相关自动模式不可在@KafkaListener标注方法中使用Acknowledgment参数
      ack-mode: record
    # ====================================================
    # ============= 具体业务Kafka定义=======================
    # ====================================================
    biz1:
      topic: topic1
      consumer:
        group: group1

消费端代码示例

/**
 * 定义biz1消息接收者
 *
 * @param message
 * @rabbit.exhange exchange1
 * @rabbit.aueue queue1
 * @rabbit.bindingKey #
 */
@KafkaListener(
        id = "biz1-${spring.kafka.biz1.consumer.group}",
        groupId = "${spring.kafka.biz1.consumer.group}",
        topics = "${spring.kafka.biz1.topic}")
public void biz1Consumer(String message) {
    log.info("[biz1Consumer] RECV MSG: {}", message);
}

1.2 单记录消费 - 手动确认

需注意如下对应配置：

# 禁用自动提交（按周期）已消费offset
spring.kafka.consumer.enable-auto-commit: false
# listener类型为单条记录single类型（默认为single单条消费模式）
spring.kafka.listener.type: single
# offset提交模式为manual_immediate
spring.kafka.listener.ack-mode: manual_immediate

消费端配置示例
手动提交offset的ack-mode模式包括：MANUAL | MANUAL_IMMEDIATE，
且使用相关手动模式需在@KafkaListener标注方法中使用Acknowledgment参数。

spring:
#  profiles:
#    active: kafka-origin
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 禁用自动提交（按周期）已消费offset
      enable-auto-commit: false
      ...
    # ====================================================
    # ============= 消费者监听器（及线程池）配置 ==============
    # ====================================================
    listener:
      # listener类型
      # single | batch
      type: single
      # 已消费offset提交模式（仅在enable-auto-commit=false时才需明确指定）
      # 单记录  | 批量   | 超时  | 超过消费数量 | 超时或超过数量 | 手动提交（ack）后同BATCH | 手动立即提交
      # RECORD | BATCH | TIME | COUNT      | COUNT_TIME   | MANUAL                | MANUAL_IMMEDIATE
      # https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-offsets
      # 注：手动提交offset模式包括：MANUAL | MANUAL_IMMEDIATE
      #    且使用相关手动模式需在@KafkaListener标注方法中使用Acknowledgment参数
      ack-mode: manual_immediate

消费端代码示例
参考：SpringKafka - Manual Acknowledgment

/**
 * 定义biz1消息接收者
 *
 * @param message
 * @kafka.topic topic1
 * @kafka.group group1
 */
@KafkaListener(
        id = "biz1-${spring.kafka.biz1.consumer.group}",
        groupId = "${spring.kafka.biz1.consumer.group}",
        topics = "${spring.kafka.biz1.topic}")
public void biz1Consumer(String message, Acknowledgment ack) {
    log.info("[biz1Consumer] RECV MSG: {}", message);
    //确认单当前消息（及之前的消息）offset均已被消费完成
    ack.acknowledge();
    //拒绝当前消息（此方法仅适用于listener.type=single）
    //当前poll查询出的剩余消息记录均被抛弃，
    //且当前消费线程在阻塞指定sleep（如下3000毫秒）后重新调用poll获取待消费消息（包括之前poll被抛弃的消息）
    //ack.nack(3000)
}

2. 批量消费listener.type=batch

在一些需要通过批量处理消息的场景中，SpringKafka支持使用Batch Listeners，即批量处理消息列表。
本章节主要讲解batch模式 - 批量消费，且同样分为自动确认和手动确认2种方式来提交已消费消息offset。

2.1 批量消费 - 自动确认

需注意如下对应配置：

# 禁用自动提交（按周期）已消费offset
spring.kafka.consumer.enable-auto-commit: false
# 批量消费的单次最大消费记录数
spring.kafka.consumer.max-poll-reocrds: 50
# listener类型为批量batch类型（默认为single单条消费模式）
spring.kafka.listener.type: batch
# offset提交模式为batch（不可使用record - 启动报错）
spring.kafka.listener.ack-mode: batch

配置示例如下

spring:
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 禁用自动提交（按周期）已消费offset
      enable-auto-commit: false
      # 单次poll()调用返回的记录数
      max-poll-records: 50
    # ====================================================
    # ============= 消费者监听器（及线程池）配置 ==============
    # ====================================================
    listener:
      # listener类型
      # single | batch
      type: batch
      # 已消费offset提交模式（仅在enable-auto-commit=false时才需明确指定）
      # 单记录  | 批量   | 超时  | 超过消费数量 | 超时或超过数量 | 手动提交（ack）后同BATCH | 手动立即提交
      # RECORD | BATCH | TIME | COUNT      | COUNT_TIME   | MANUAL                | MANUAL_IMMEDIATE
      # https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-offsets
      ack-mode: batch
    # ====================================================
    # ============= 具体业务Kafka定义=======================
    # ====================================================
    biz1:
      topic: topic1
      consumer:
        group: group1
    biz2:
      topic: topic2
      consumer:
        group: group2
        # 分区格式示例：0 | 0,1,2 | 0-3 
        partitions: 0

消费端代码示例

/**
 * 定义biz1消息接收者
 * 自动模式（无需手动ack）：
 * 1. listener.type=batch
 * 2. ack-mode=batch
 *
 * @param messages
 * @kafka.topic topic1
 * @kafka.group group1
 */
@KafkaListener(
        id = "biz1-${spring.kafka.biz1.consumer.group}",
        groupId = "${spring.kafka.biz1.consumer.group}",
        topics = "${spring.kafka.biz1.topic}")
public void biz1Consumer(List<String> messages) {
    log.info("[biz1Consumer] RECV MSG COUNT: {}", messages.size());
    log.info("[biz1Consumer] RECV MSG[0]: {}", messages.get(0));
}

/**
 * 定义biz2消息接收者
 * 自动模式（无需手动ack）：
 * 1. listener.type=batch
 * 2. ack-mode=batch
 * 
 * @param messages
 * @kafka.topic topic2
 * @kafka.group group2
 */
@KafkaListener(
        id = "biz2-${spring.kafka.biz2.consumer.group}",
        groupId = "${spring.kafka.biz2.consumer.group}",
        //消费指定分区
        topicPartitions = {
                @TopicPartition(topic = "${spring.kafka.biz2.topic}", partitions = "${spring.kafka.biz2.consumer.partitions}")
        })
public void biz2Consumer(List<Message> messages) {
    log.info("[biz2Consumer] RECV MSG COUNT: {}", messages.size());
    log.info("[biz2Consumer] RECV MSG[0]: {}", messages.get(0));
}

在这里插入图片描述

2.2 批量消费 - 手动确认

需注意如下对应配置：

# 禁用自动提交（按周期）已消费offset
spring.kafka.consumer.enable-auto-commit: false
# 批量消费的单次最大消费记录数
spring.kafka.consumer.max-poll-reocrds: 50
# listener类型为批量batch类型（默认为single单条消费模式）
spring.kafka.listener.type: batch
# offset提交模式为batch（不可使用record - 启动报错）
spring.kafka.listener.ack-mode: manual

配置示例如下

spring:
  kafka:
    # 逗号分隔的集群broker列表
    bootstrap-servers: localhost:9092
    # ====================================================
    # ================== 消费者配置 ========================
    # ====================================================
    consumer:
      # 禁用自动提交（按周期）已消费offset
      enable-auto-commit: false
      # 单次poll()调用返回的记录数
      max-poll-records: 50
    # ====================================================
    # ============= 消费者监听器（及线程池）配置 ==============
    # ====================================================
    listener:
      # listener类型
      # single | batch
      type: batch
      # 已消费offset提交模式（仅在enable-auto-commit=false时才需明确指定）
      # 单记录  | 批量   | 超时  | 超过消费数量 | 超时或超过数量 | 手动提交（ack）后同BATCH | 手动立即提交
      # RECORD | BATCH | TIME | COUNT      | COUNT_TIME   | MANUAL                | MANUAL_IMMEDIATE
      # https://docs.spring.io/spring-kafka/docs/current/reference/html/#committing-offsets
      ack-mode: manual
    # ====================================================
    # ============= 具体业务Kafka定义=======================
    # ====================================================
    biz1:
      topic: topic1
      consumer:
        group: group1
    biz2:
      topic: topic2
      consumer:
        group: group2
        partitions: 0

消费端代码示例

/**
 * 定义biz1消息接收者
 * 手动模式（需手动ack）：
 * 1. listener.type=batch
 * 2. ack-mode=manual
 *
 * @param messages
 * @kafka.topic topic1
 * @kafka.group group1
 */
@KafkaListener(
        id = "biz1-${spring.kafka.biz1.consumer.group}",
        groupId = "${spring.kafka.biz1.consumer.group}",
        //仅在多partition单个消费者时，用于多线程消费消息（concurrency <= partition数量）
        //当存在多个消费者时，即便设置concurrency > 1也仅有唯一消费线程生效
        concurrency = "${spring.kafka.biz1.consumer.concurrency}",
        topics = "${spring.kafka.biz1.topic}")
public void biz1Consumer(List<String> messages, Acknowledgment ack) {
    log.info("[biz1Consumer] RECV MSG COUNT: {}", messages.size());
    log.info("[biz1Consumer] RECV MSG[0]: {}", messages.get(0));
    //确认单当前消息（及之前的消息）offset均已被消费完成
    ack.acknowledge();

    //拒绝消息列表中指定index（发生错误的消息index）对应的消息（此方法仅适用于listener.type=batch），
    //当前指定index之前的消息会被成功提交，
    //当前poll查询出的剩余消息记录（包括当前指定的index）均被抛弃，
    //且当前消费线程在阻塞指定sleep（如下3000毫秒）后重新调用poll获取待消费消息（包括当前index及之前poll抛弃的消息）
    //如下即确认当前list中前5条消息（0-4），抛弃当前list中后续消息，3秒后再次poll查询未消费消息
    //ack.nack(5, 3000);
}


/**
 * 定义biz2消息接收者
 * 手动模式（需手动ack）：
 * 1. listener.type=batch
 * 2. ack-mode=manual
 * 
 * @param messages
 * @kafka.topic topic2
 * @kafka.group group2
 */
@KafkaListener(
        id = "biz2-${spring.kafka.biz2.consumer.group}",
        groupId = "${spring.kafka.biz2.consumer.group}",
        //消费指定分区
        topicPartitions = {
                @TopicPartition(topic = "${spring.kafka.biz2.topic}", partitions = "${spring.kafka.biz2.consumer.partitions}")
        })
public void biz2Consumer(List<Message> messages, Acknowledgment ack) {
    log.info("[biz2Consumer] RECV MSG COUNT: {}", messages.size());
    log.info("[biz2Consumer] RECV MSG[0]: {}", messages.get(0));
    //确认单当前消息（及之前的消息）offset均已被消费完成
    ack.acknowledge();
}

3. 手动模式下的acknowledge和nack方法

在手动确认模式下，除了支持ack.acknowledge()方法用于确认单条记录（对应record模式）或者批次记录（对应batch模式），
还支持nack方法用于拒绝消息，关于acknowledge和nack方法的详细使用见下表：

方法

说明

适用listener.type

acknowledge()

确认单条消息 或 整批消息

single
batch

nack(sleepMills)

拒绝确认当前消息，
当前poll查询出的剩余消息记录均被抛弃，
且当前消费线程在阻塞指定sleepMills时间后
会重新调用poll获取待消费消息（包括之前poll被抛弃的消息）

single

nack(index, sleepMills)

拒绝消息列表中指定index（发生错误的消息index）及其之后index对应的消息，
当前指定index之前的消息会被成功提交，
当前poll查询出的剩余消息记录（包括当前指定的index）均被抛弃，
且当前消费线程在阻塞指定sleepMills时间后
会重新调用poll获取待消费消息（包括当前index及之前poll抛弃的消息）

batch

先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。自己不成体系的自学效率很低又漫长，而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。添加下方名片，即可获取全套学习资料哦

Spring Kafka常用配置详解
qq_36551991的博客
12-07 4345
spring kafka常用配置
kafka消费的三种模式_kafka消费者的三种模式（最多/最少/恰好消费一次）
weixin_39640157的博客
11-29 5153
几种不同的注册方式subscribe方式：当主题分区数量变化或者consumer数量变化时，会进行rebalance；注册rebalance监听器，可以手动管理offset不注册监听器，kafka自动管理assign方式：手动将consumer与partition进行对应，kafka不会进行rebanlance关键配置及含义enable.auto.commit 是否自动提交自己的offset值；默...
kafka consumer 手动 ack
最新发布
qq_41893505的博客
02-26 323
在消费 Kafka 消息时，手动确认（acknowledge）消息的消费，可以通过使用类中的或方法来实现。这些方法将提交当前偏移量，确保在消费者崩溃时不会重新消费已处理的消息。以下是一个简单的手动ack。
Kafka入门三：几种消费方式
热门推荐
qq_35349490的博客
04-02 3万+
1.消费位移确认    Kafka消费者消费位移确认有自动提交与手动提交两种策略。在创建KafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。自动提交策略由消费者协调器（ConsumerCoordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交。手动提交需要由客户端自己控制偏移量的提交。   ...
kafka消费者的三种模式
clzzzh的博客
11-05 1796
1，subscribe方式：当主题分区数量变化或者consumer数量变化时，会进行rebalance；注册rebalance监听器，可以手动管理offset不注册监听器，kafka自动管理assign方式：手动将consumer与partition进行对应，kafka不会进行rebanlance 关键配置及含义 enable.auto.commit 是否自动提交自己的offset值；默认值时true auto.commit.interval.ms 自动提交时长间隔；默认值时5000 ms cons
kafka消费的三种模式_快速认识Kafka
weixin_33567029的博客
12-03 2万+
1.Kafka是什么 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)。kafka的架构师jay kreps非常喜欢franz kafka,觉得kafka这个名字很酷，因此将linkedin的消息传递系统命名为完全不相干的kafka，没有特别含义。2.解决什么问题kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数...
Kafka之——三种消费模式
冰河的专栏
08-03 2万+
自动提交offset 以下实例代码展示了如何自动提交topic的offset： public void autoOffsetCommit() { Properties props = new Properties(); props.put("bootstrap.servers", "binghe100:9092"); props.put("group.id",...
【Kafka精进系列004】Spring Boot + Kafka消息生产与消费代码示例
noaman_wgs的博客
12-29 3763
通过本文，你可以学到： (1)Kafka生产者异步发送API介绍； (2)Kafka生产者消息发送的代码实现； (3)Kafka生产者发送的消息不丢失的配置参数； (4)Kafka消费者常见的两种消费方案设计（单实例与多实例以及多线程消费）； (5)Spring Boot整合Kafka实现Kafka生产与消费的完整过程
kafka 示例（spring boot）批量消费
weixin_43931625的博客
10-25 3639
springbootkafka 批量消费 ************************************************ 使用示例 ********************************** application.yml spring: kafka: bootstrap-servers: 172.18.0.12:9092 ...
spring-kafka 多线程消费
weixin_41614713的博客
06-09 2628
引入依赖 dependencies { testCompile group: 'junit', name: 'junit', version: '4.12' // https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-web compile group: 'org.springframework.boot', name: 'spring-boot-starter-web' .
Spring Boot Kafka概览、配置及优雅地实现发布订阅
易名
12-26 1943
本文属于翻译，转载注明出处，欢迎关注微信小程序小白AI博客 微信公众号小白AI或者网站 https://xiaobaiai.net 文章目录1 前言2 Spring Kafka功能概览2.1 自动创建主题2.2 发送消息2.3 接收消息2.3.1 消息监听器2.3.1.1 消息监听器容器2.3.1.2 使用KafkaMessageListenerContainer2.3.1.3 使用 Concu...
SpringBoot 集成 Kafka消息中间件，Docker安装Kafka环境
yunnuo的博客
12-28 846
提供kafka、zooker在docker环境下进行安装的示例，springBoot集成kafka实现producer-生产者和consumer-消费者(监听消费：single模式和batch模式)的功能实现。下面示例是采用API方式进行调用发送kafka消息，进行模拟生产者。
【Kafka】kafka消费者的三种模式（最多/最少/恰好消费一次）&生产者幂等性
m0_45406092的博客
08-10 9105
文章目录概述回顾ack配置幂等性参考 概述 at most once(消费者最多收到一次消息，0--1次)：acks = 0 可以实现。 acks=0 保证producer往leader只发送一次，不管是否发送成功，因此可能丢数据，但不会重复发送 at least once(消费者至少收到一次消息，1--多次)：ack = all 或-1可以实现。 exactly once(消费者刚好收到一次消息)：at least once 加上消费者幂等性可以实现，还可以用kafka生产者的幂等性来实现。
kafka学习一-kafka消费模式
qq_35930102的博客
08-02 1598
1 点对点模式 消息生产者把消息发送到Queue中，然后消费者从Queue中取出并且消费消息。消息被消费后Queue中不再存储，所以一个消息只可以被一个消费者消费。 2 发布订阅模式 生产者把消息发布到topic中，同时有多个消费者订阅该topic。和点对点不同，该消息会被所有的消费者消费 发布订阅有两种 2.1 消费者主动拉取消息 好处是消费者消费速度可以由消费者来确定。缺点是需要建立一个长轮询，不断的问消息，比较浪费资源。 2.2 队列主动推送 消息消费速度由队列决定。但是下游消费
Kafka的不同消费方式和消费者代码示例
天天向上
05-20 3192
一、前言 本文针对 Kafka 的消费者代码，均由 Kafka 原生的客户端 API 构成，而非 spring-kafka 或 SpringCloudStream 等对于原生 API 进行封装的示例。 Kafka 的消费方式，根据不同的需求可以做出多样的选择。 可以根据是否手动指定分区，而分为 Subscribe 和 Assign 这两种模式 可以根据消费特定条件，而分为最新偏移量、指定偏移量和指定时间戳开始消费这三种方式 二、各种消费方式 2.1 Subscribe模式（订阅主题） 对 Kaf
kafka消费的三种模式_面试官：kafka如何保证数据可靠性？
weixin_33513255的博客
11-29 4892
推荐学习分布式/Spring/高并发/设计模式等问个遍，网易3面绝了 一、必须知道的专业名词kafka中，每个partition可以有多个副本(Replica)，分为leader、follower，正常情况下，客户端只向leader发送数据、leader消费数据，follower的出现是为了保证kafka数据的高可用和一致性，也是作为灾备的存在。再保证高可用的过程中，leader与follower...
Kafka消费的几种方式-高级消费
weixin_33955681的博客
06-12 869
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka批量消费
一蓑烟雨任平生
03-22 2568
当批量处理消息时，需要注意的是，一旦消息处理完成且没有错误，应当手动提交偏移量，以确认这些消息已经被成功消费。如果有消息处理失败，则可能需要根据业务需求选择不同的策略，比如重新尝试处理整个批次、跳过错误消息或者记录错误信息稍后处理。注解处理批量信息时，首先需要开启批量监听模式，并配置相应的consumer参数来控制批量消费行为。请求从Kafka服务器获取的最大记录数。就能按照批处理的方式接收并处理Kafka主题中的消息了。定义一个方法，其参数是一个包含多条消息的列表，注解下的方法将会接收到批量的消息。
Kafka 批量消费
weixin_47648825的博客
11-24 1万+
业务背景项目有个需求需要统计IM聊天相关数据，原设计思想是在聊天产生时通过消息队列进行数据记录，利用rocketMQ实现。上线后发现由于内部IM活跃用户量级较大，MQ生产者生产消息过多，消费者实时消费会造成服务器CPU和硬盘读写压力，在改不了硬件配置的情况下，笔者通过了解到kafka批量消费的实现可解决这个问题，记录下该方案。
Spring Kafka XML整合示例教程及代码下载
然而，可以推测这个压缩包可能包含了Spring应用上下文XML配置文件（如`applicationContext.xml`）、Kafka配置文件、消息生产者和消费者的示例代码、测试类、以及可能的资源文件和相关的库依赖文件。 8. **运行与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值