Kafka 新的消费组默认的偏移量设置和消费行为

码农阿豪@新空间代码工作室

已于 2024-06-19 17:29:11 修改

阅读量4.7w

点赞数 12

分类专栏：日请求70亿高并发大数据项目实战专栏文章标签： kafka 分布式

于 2024-06-19 17:28:54 首次发布

本文链接：https://blog.csdn.net/weixin_44976692/article/details/139808785

版权

日请求70亿高并发大数据项目实战专栏专栏收录该内容

4 篇文章 0 订阅

订阅专栏

个人名片

🎓作者简介：java领域优质创作者
🌐个人主页：码农阿豪
📞工作室：新空间代码工作室（提供各种软件服务）
💌个人邮箱：[2435024119@qq.com]
📱个人微信：15279484656
🌐个人导航网站：www.forff.top
💡座右铭：总有人要赢。为什么不能是我呢？

专栏导航：

码农阿豪系列专栏导航
面试专栏：收集了java相关高频面试题，面试实战总结🍻🎉🖥️
Spring5系列专栏：整理了Spring5重要知识点与实战演练，有案例可直接使用🚀🔧💻
Redis专栏：Redis从零到一学习分享，经验总结，案例实战💐📝💡
全栈系列专栏：海纳百川有容乃大，可能你想要的东西里面都有🤸🌱🚀

Kafka 新的消费组默认的偏移量设置和消费行为由 auto-offset-reset 配置项决定。以下是详细说明：

默认消费行为

当一个新的消费者组第一次订阅一个主题时，它会根据 auto-offset-reset 的配置来决定从哪里开始消费消息。auto-offset-reset 有三个选项：

earliest：如果消费者组没有已提交的偏移量（即新的消费者组），则从主题的最早消息开始消费。
latest：如果消费者组没有已提交的偏移量，则从最新的消息开始消费（即从消费者启动之后生成的消息）。
none：如果消费者组没有已提交的偏移量，则抛出异常。

例如，默认配置可以是：

kafka:
    bootstrap-servers: 10.206.*.*:9092,10.206.*.*:9092,10.206.*.*:9092
    consumer:
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: new-consumer-group  # 新的消费者组ID
      auto-offset-reset: earliest  # 从最早的消息开始消费
      enable-auto-commit: true
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        partition:
          assignment:
            strategy: org.apache.kafka.clients.consumer.RoundRobinAssignor
      fetch-min-size: 100000

是否需要设置偏移量

默认情况下：如果你使用 auto-offset-reset: earliest 或 auto-offset-reset: latest，并且 enable-auto-commit: true，新的消费者组会自动从最早或最新的偏移量开始消费，不需要手动设置偏移量。

手动设置偏移量：如果你有特定的需求，需要从某个特定的位置（比如某个标签消息）开始消费，则需要手动设置偏移量。手动设置偏移量的步骤如下：

禁用自动提交偏移量：设置 enable-auto-commit: false。

在代码中手动查找并设置偏移量：

例如，在 Java 中：

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
consumer.subscribe(Collections.singletonList("your-topic"));

// 查找特定偏移量
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        if (record.value().contains("your-tag")) {
            consumer.seek(new TopicPartition(record.topic(), record.partition()), record.offset());
            break;
        }
    }
    break;
}

// 从设定的偏移量开始消费
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
    consumer.commitSync();
}

不设置偏移量是否会重复消费

是否会重复消费取决于消费者组的配置和消息处理的具体场景。以下是几种可能的情况及其影响：

1. 新的消费者组

第一次消费：如果一个新的消费者组第一次订阅一个主题，Kafka 会根据 auto-offset-reset 配置决定从哪里开始消费：
- earliest：从最早的消息开始消费。
- latest：从最新的消息开始消费（即从消费者启动之后生成的消息）。
- none：如果没有已提交的偏移量，则抛出异常。
在这种情况下，不会出现重复消费的情况，因为没有先前的消费记录。

2. 现有的消费者组

已有偏移量：如果消费者组已经有已提交的偏移量，Kafka 将从最后提交的偏移量继续消费，不会出现重复消费。
未提交偏移量：如果消费者实例崩溃且未能提交偏移量，重启后可能会从上次提交的偏移量开始重新消费，从而导致部分消息被重复消费。

3. 配置 `enable-auto-commit`

启用自动提交（enable-auto-commit: true）：偏移量会自动提交，通常不会重复消费消息，除非在自动提交间隔内发生消费者崩溃。
禁用自动提交（enable-auto-commit: false）：需要手动提交偏移量，如果在消费完成后未能及时提交偏移量，可能会导致重启后从最后提交的偏移量开始重复消费。

避免重复消费的建议

定期提交偏移量：确保在消费完成后及时提交偏移量。可以使用 consumer.commitSync() 或 consumer.commitAsync() 方法。

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
    // 同步提交偏移量
    consumer.commitSync();
}