Kafka 消费者位置提交方式及适用场景

于 2024-10-11 22:57:59 发布
阅读量303 收藏 6
点赞数 6
分类专栏： 大数据面试专栏 文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010223407/article/details/142865190
版权

在使用 Kafka 进行消息处理时，消费者的位置提交是一个非常重要的环节。它决定了消费者在下次启动时从哪里开始读取消息。今天，我们就来深入探讨一下 Kafka 消费者位置提交方式有哪些，以及在什么场景下使用。

一、Kafka 消费者位置提交的重要性

在 Kafka 中，消费者会不断地从主题（Topic）的分区（Partition）中读取消息。为了保证在消费者崩溃或重新启动后能够继续从上次停止的位置读取消息，消费者需要定期提交自己的位置信息。如果不进行位置提交，消费者在重新启动后可能会从头开始读取消息，导致重复处理已经处理过的消息，或者错过一些新的消息。

二、Kafka 消费者位置提交方式

  1. 自动提交

    • Kafka 消费者可以配置为自动提交位置信息。当消费者拉取一批消息后，经过一定的时间间隔或者消息数量达到一定阈值时，消费者会自动提交当前的位置信息。
    • 自动提交的优点是简单方便，不需要开发者手动干预。但是，它也存在一些缺点。例如，如果在自动提交之前消费者崩溃了，那么可能会导致一些消息被重复处理。

  2. 手动提交

    • 手动提交位置信息需要开发者在代码中显式地调用提交方法。手动提交可以分为同步提交和异步提交两种方式。
    • 同步提交：消费者会等待提交操作完成后才继续处理下一批消息。这种方式可以确保位置信息被正确提交，但是可能会影响消费者的性能，特别是在提交操作比较耗时的情况下。
    • 异步提交：消费者会在后台异步地提交位置信息，不会阻塞当前的消息处理。这种方式可以提高消费者的性能，但是如果在提交操作完成之前消费者崩溃了，那么可能会导致位置信息丢失。

三、不同提交方式的适用场景

  1. 自动提交

    • 适用于对消息处理的准确性要求不高，但是对性能要求较高的场景。例如，一些实时数据分析系统，可能更关注处理的速度，而对消息的重复处理不太敏感。
    • 自动提交也适用于一些简单的应用场景，开发者不想花费太多时间在位置提交的管理上。

  2. 手动提交（同步）

    • 适用于对消息处理的准确性要求非常高的场景。例如，在金融交易系统中，每一笔交易都必须被准确处理，不能出现重复处理或漏处理的情况。
    • 当消费者需要在提交位置信息之前进行一些额外的处理，如数据验证、事务处理等，同步提交可以确保这些处理完成后再提交位置信息。

  3. 手动提交（异步）

    • 适用于对性能要求较高，同时又希望在一定程度上保证消息处理的准确性的场景。例如，一些高并发的 Web 应用，需要快速处理大量的用户请求，同时又要确保消息不会被重复处理。
    • 异步提交可以在不影响消息处理性能的情况下，尽可能地保证位置信息的正确提交。

四、Java 代码示例

自动提交示例：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.Arrays;
import java.util.Properties;

public class AutoCommitConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

手动同步提交示例：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.TopicPartition;
import java.util.Arrays;
import java.util.Collections;
import java.util.Map;
import java.util.Properties;

public class ManualSyncCommitConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
                // 同步提交
                Map<TopicPartition, OffsetAndMetadata> offsets = consumer.committed(consumer.assignment());
                for (TopicPartition partition : consumer.assignment()) {
                    long lastProcessedOffset = records.endOffsets(Collections.singleton(partition)).get(partition) - 1;
                    consumer.commitSync(Collections.singletonMap(partition, new OffsetAndMetadata(lastProcessedOffset)));
                }
            }
        } finally {
            consumer.close();
        }
    }
}

手动异步提交示例：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.TopicPartition;
import java.util.Arrays;
import java.util.Collections;
import java.util.Map;
import java.util.Properties;

public class ManualAsyncCommitConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
                // 异步提交
                Map<TopicPartition, OffsetAndMetadata> offsets = consumer.committed(consumer.assignment());
                for (TopicPartition partition : consumer.assignment()) {
                    long lastProcessedOffset = records.endOffsets(Collections.singleton(partition)).get(partition) - 1;
                    consumer.commitAsync(Collections.singletonMap(partition, new OffsetAndMetadata(lastProcessedOffset)), (offsets1, exception) -> {
                        if (exception!= null) {
                            System.err.println("Error committing offsets: " + exception.getMessage());
                        }
                    });
                }
            }
        } finally {
            consumer.close();
        }
    }
}

五、总结

Kafka 消费者的位置提交方式有自动提交和手动提交两种，手动提交又分为同步提交和异步提交。不同的提交方式适用于不同的场景，开发者需要根据实际需求选择合适的提交方式。在选择提交方式时，需要考虑消息处理的准确性、性能要求以及应用场景的特点等因素。

文章（专栏）将持续更新，欢迎关注公众号：服务端技术精选。欢迎点赞、关注、转发。

个人小工具程序上线啦，通过公众号（服务端技术精选）菜单【个人工具】即可体验，欢迎大家体验后提出优化意见！500 个访问欢迎大家踊跃体验哦~

我爱娃哈哈
关注
专栏目录
分布式 - 消息队列Kafka：Kafka 消费者消费位移的提交方式
你今天真好看呀
08-18 2351
到目前为止，我们知道消息的拉取是根据poll（）方法中的逻辑来处理的，这个poll（）方法中的逻辑对于普通的开发人员而言是一个黑盒，无法精确地掌控其消费的起始位置。与消费者中的其他处理过程一样，自动提交也是在轮询循环中进行的。假设刚刚提交完一次消费位移，然后拉取一批消息进行消费，在下一次自动提交消费位移之前，消费者崩溃了，那么又得从上一次位移提交的地方重新开始消费，这样便发生了重复消费的现象（对于再均衡的情况同样适用，再均衡完成之后，接管分区的消费者将从最后一次提交的偏移量的位置开始读取消息）。
Kafka消费者手动提交详解及demo
feiqinbushizheng的博客
04-10 9330
在上一篇 Kafka基础及java客户端使用Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提...
springboot整合kafka消费者最佳实践
todoitbo的博客
04-19 1万+
本文将深入介绍如何利用Spring Boot整合Kafka实现消费者，探讨其原理和实现步骤。通过详细的解释和示例代码，读者将学会如何使用Spring Boot轻松构建高效的Kafka消费者，实现实时数据处理。
深入浅出 Kafka 消费者：解密分布式消息流的幕后英雄
我是一名热爱编程和分享知识的技术作者，在金融和教育领域有多年的研发管理经验，感谢您访问我的博客，一定会为您带来不一样的收货！
01-23 1145
Kafka消费者是订阅并从Kafka主题（Topic）中消费消息的应用程序或服务组件。它们负责从生产者发送的消息队列中拉取消息，并对这些消息进行处理。
Kafka系列——详解创建Kafka消费者及相关配置
zekser的博客
03-20 7563
详解kafka消费者以及消费者组；介绍分区如何分配给消费者，以及分配策略，介绍各种超时参数；介绍超时的行为，心跳发送的细节
python kafka offset自动提交_关于Kafka 的 consumer 消费者手动提交详解
weixin_39837124的博客
12-19 1729
前言在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。应用场景在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提交，这样很容易丢失数据，尤其是在需要事...
关于Kafka 的 consumer 消费者手动提交详解
热门推荐
虚无境的博客
02-08 2万+
前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提交，这样很容易丢失...
kafka系列之offset超强总结及消费后不提交offset情况的分析总结
ToBeMaybe_的博客
07-05 1474
消费端如果没有提交offset，程序不会阻塞或者重复消费，除非在消费到这个你没有提交offset的消息时你新增或者减少消费端，此时会发生rebalance现象，即可再次消费到这个未提交offset的数据，产生重复消费问题。如果在消费的过程中有几条或者一批数据数据没有提交offset（比如异常情况程序没有走到手动提交的代码），后面其他的消息消费后正常提交offset至服务端，那么服务端会更新为消费后最新的offset，不会重新消费，就算重启程序或者rebalance也不会重新消费。
深入理解Kafka消费者偏移量管理：如何确保事件已处理
heromps的博客
08-20 871
本文将深入探讨Kafka中消费者如何通过偏移量机制确认事件已被处理，并介绍不同的偏移量提交策略及其优缺点。根据具体需求选择合适的偏移量提交策略，可以在提高处理性能的同时保证消息的可靠处理。当消费者重新启动时，Kafka会根据最后提交的偏移量继续消费未处理的消息。通过批量处理消息并在处理完成后一次性提交偏移量，可以减少提交次数，提高性能，同时避免在处理单条消息失败时丢失多条消息。在每条消息处理完成后立即提交其偏移量，可以确保消息处理与偏移量提交紧密关联，即使在系统崩溃后也不会丢失已处理的消息。
kafka的基本应用及场景分析.rar
05-13
《Kafka基本应用及场景分析》 Apache Kafka是一款开源的分布式流处理平台，由LinkedIn开发并贡献给Apache软件基金会。Kafka主要设计目标是提供高吞吐量的实时处理，它能够同时处理数十亿条消息，是大数据领域的重要...
Kafka生产者消费者API原理与代码实例讲解
AI大模型应用之禅
06-05 308
Kafka生产者消费者API原理与代码实例讲解 1.背景介绍 Apache Kafka是一个分布式流处理平台,它提供了一种统一、高吞吐、低延迟的方式来处理实时数据流。Kafka被广泛应用于日志收集、消息系统、数据管道、流式处理、事件源等场景。其核心概念是将数据流组织为不同的主题
Kafka 在哪些场景下会造成重复消费或消息丢失？
码农架构
02-05 2106
kafka消费者在消费的时候对于位移提交的具体时机的把握也很有讲究，有可能会造成重复消费和消息丢失的现象。 参考上图，当前一次 poll() 操作所拉取的消息集为 [x+2, x+7]，x+2 代表上一次提交的消费位移，说明已经完成了 x+1 之前（包括 x+1 在内）的所有消息的消费，x+5 表示当前正在处理的位置。如果拉取到消息之后就进行了位移提交，即提交了 x+8，那么当前消费 x+5 的时候遇到了异常，在故障恢复之后，我们重新拉取的消息是从 x+8 开始的。也就是说，x+5 至 x+7 之间的
深入分析Kafka生产者和消费者
wzljiayou的博客
10-29 2682
深入Kafka生产者和消费者Kafka生产者消息发送的流程发送方式生产者属性配置序列化器分区器Kafka消费者消费者群组消费者属性配置消费者基础概念消费者核心概念 Kafka生产者 消息发送的流程 生产者每发送一条消息需要先创建一个ProducerRecord对象，并且需要指定目标主题、消息内容，当然还可以指定消息键和分区。之后就会调用send()方法发送该对象，由于生产者需要与Kafka Broker进行网络传输，必然需要先通过序列化器对消息的键和值对象先进行序列化成字节数组，才能进行传输。 之后，分区
00_概览_kafka
DXH9701的博客
10-05 1171
kafka的简介 记得比较乱
Kafka快速入门
m0_61925586的博客
10-04 902
消息队列(message queue)简称MQ，是一种以“先进先出”的数据结构为基础的消息服务器。消息：两个系统间要传输的数据作用：实现消息的传递原始的数据传递方式：传输效率较低。基于MQ实现消息的传输，如下图所示：上述的数据的传输方式属于异步传输【作为调用方法不用等待被调用方执行完毕就可以接续传递消息】，数据传输的效率较高。services:zookeeper:ports:volumes:services：定义 Docker Compose 文件中的服务。zookeeper。
kafka-windows集群部署
weixin_42924400的博客
10-05 528
部署本文步骤可以先阅读这一篇博客，这篇是关于单机kafka部署测试的。本文用到的文件均是这一篇博客中的文件修改配置部署的。kafka基本概念以及用法。
分布式常见面试题总结
最新发布
夏日 の blog
10-10 867
在分库之后，数据遍布在不同服务器上的数据库，数据库的自增主键已经没办法满足生成的主键唯一了。就要用到分布式 ID 保证全局唯一性。UUID 是 Universally Unique Identifier（通用唯一标识符） 的缩写。UUID 包含 32 个 16 进制数字（8-4-4-4-12）。//输出示例：cb4a9ede-fa5e-4585-b9bb-d60bce986eaa虽然，UUID 可以做到全局唯一性，但是，我们一般很少会使用它。
高级java每日一道面试题-2024年10月3日-分布式篇-分布式系统中的容错策略都有哪些？
qq_43071699的博客
10-05 1266
这些容错策略可以根据具体的业务需求和技术栈灵活组合使用。理解这些策略的工作原理以及如何在实际系统中应用它们，对于设计和维护高可用的分布式系统至关重要。在面试中，除了理论知识外，展示你如何在实际项目中应用这些策略也会给面试官留下深刻印象。
kafka消费堆积，偏移量设置
06-10
在 Kafka 中，每个消费者都会维护一个消费者组中分配给自己的分区列表以及每个分区的偏移量。当消费者消费一个分区中的消息时，它会将当前消费到的消息的偏移量保存下来，并定期将偏移量提交到 Kafka 中。这样，下次消费者再次启动时，就可以从上次消费的位置继续消费。 当消费者出现堆积时，可以通过设置消费者的偏移量来解决问题。具体来说，可以通过以下几种方式来设置消费者的偏移量： 1. 自动提交偏移量：可以通过设置自动提交偏移量的方式，让 Kafka 自动将消费者消费的偏移量提交到 Kafka 中。这种方式适用于消费者消费速度较慢，或者消费者需要保证至少消费一次的情况。 2. 手动提交偏移量：可以通过手动调用提交偏移量的 API 来提交消费者消费的偏移量。这种方式适用于消费者消费速度较快，需要精确控制消费进度的情况。 3. 定期提交偏移量：可以通过设置定期提交偏移量的方式，让消费者定期将消费的偏移量提交到 Kafka 中。这种方式适用于需要平衡消费者速度和消费进度控制的情况。 在实际应用中，可以根据具体的业务场景和需求，选择适合的偏移量设置方式。同时，还需要注意消费者的消费速度，避免出现堆积的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱娃哈哈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值