Kafka：Consumer手动提交offset

已于 2022-02-15 09:05:00 修改
阅读量4.9k 收藏 10
点赞数 2
分类专栏： Kafka 文章标签： kafka zookeeper java
于 2022-02-14 15:05:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37960603/article/details/122923029
版权
本文详细介绍了如何在Apache Kafka中，使用Consumer手动提交offset，包括关闭自动提交、按分区提交以及实际操作中的样例。通过实例展示了手动提交offset后，Consumer消费行为的变化和消息重复消费的避免。
摘要由CSDN通过智能技术生成

在上一篇博客中介绍了使用Consumer订阅多个Topic或者多个Partition：

在上一篇博客的测试样例中，Consumer都是自动提交offset，这是通过下面的配置来生效：

        // 开启offset自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        // 消费者offset自动提交到Kafka的频率（以毫秒为单位）
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

如果Consumer手动提交offset，则需要将ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG设置为false。

测试代码

pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.kaven</groupId>
    <artifactId>kafka</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>3.0.0</version>
        </dependency>
    </dependencies>
</project>

创建Topic：

package com.kaven.kafka.admin;

import org.apache.kafka.clients.admin.*;
import org.apache.kafka.common.KafkaFuture;

import java.util.Collections;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutionException;

public class Admin {

    // 基于Kafka服务地址与请求超时时间来创建AdminClient实例
    private static final AdminClient adminClient = Admin.getAdminClient(
            "192.168.1.9:9092,192.168.1.9:9093,192.168.1.9:9094",
            "40000");

    public static void main(String[] args) throws InterruptedException, ExecutionException {
        Admin admin = new Admin();
        // 创建Topic，Topic名称为topic1，分区数为1，复制因子为1
        admin.createTopic("topic1", 1, (short) 1);
        // 创建Topic，Topic名称为topic2，分区数为2，复制因子为1
        admin.createTopic("topic2", 2, (short) 1);
        // 创建Topic，Topic名称为topic3，分区数为2，复制因子为1
        admin.createTopic("topic3", 2, (short) 1);
        Thread.sleep(10000);
    }

    public static AdminClient getAdminClient(String address, String requestTimeoutMS) {
        Properties properties = new Properties();
        properties.setProperty(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, address);
        properties.setProperty(AdminClientConfig.REQUEST_TIMEOUT_MS_CONFIG, requestTimeoutMS);
        return AdminClient.create(properties);
    }

    public void createTopic(String name, int numPartitions, short replicationFactor) throws InterruptedException {
        CountDownLatch latch = new CountDownLatch(1);
        CreateTopicsResult topics = adminClient.createTopics(
                Collections.singleton(new NewTopic(name, numPartitions, replicationFactor))
        );
        Map<String, KafkaFuture<Void>> values = topics.values();
        values.forEach((name__, future) -> {
            future.whenComplete((a, throwable) -> {
                if(throwable != null) {
                    System.out.println(throwable.getMessage());
                }
                System.out.println(name__);
                latch.countDown();
            });
        });
        latch.await();
    }
}

Producer发布消息：

package com.kaven.kafka.producer;

import org.apache.kafka.clients.producer.*;
import java.util.Properties;
import java.util.concurrent.ExecutionException;

public class ProducerTest {

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        send("topic1");
        send("topic2");
        send("topic3");
    }

    public static void send(String name) throws ExecutionException, InterruptedException {
        Producer<String, String> producer = ProducerTest.createProducer();
        for (int i = 0; i < 7; i++) {
            ProducerRecord<String, String> producerRecord = new ProducerRecord<>(
                    name,
                    "key-" + i,
                    "value-" + i
            );
            // 异步发送并回调
            producer.send(producerRecord, (metadata, exception) -> {
                if(exception == null) {
                    System.out.printf("topic: %s, partition: %s, offset: %s\n", name, metadata.partition(), metadata.offset());
                }
                else {
                    exception.printStackTrace();
                }
            });
        }
        // 要关闭Producer实例
        producer.close();
    }

    public static Producer<String, String> createProducer() {
        // Producer的配置
        Properties properties = new Properties();
        // 服务地址
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.9:9092,192.168.1.9:9093,192.168.1.9:9094");
        // KEY的序列化器类
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        // VALUE的序列化器类
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        return new KafkaProducer<>(properties);
    }
}

不提交offset

Consumer订阅程序：

package com.kaven.kafka.consumer;

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.*;

public class ConsumerTest {

    public static void main(String[] args) {
        commit(Arrays.asList("topic1", "topic2", "topic3"));
    }

    public static void commit(List<String> topicList) {
        KafkaConsumer<String, String> consumer = createConsumer();
        consumer.subscribe(topicList);
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(10000));
            records.forEach((record) -> {
                System.out.printf("topic: %s, partition: %s, offset: %s, key: %s, value: %s\n",
                        record.topic(), record.partition(), record.offset(), record.key(), record.value());
            });
        }
    }

    public static KafkaConsumer<String, String> createConsumer() {
        // Consumer的配置
        Properties properties = new Properties();
        // 服务地址
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.9:9092,192.168.1.9:9093,192.168.1.9:9094");
        // 组ID，用于标识此消费者所属的消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "kaven-test");
        // 关闭offset自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        // 消费者offset自动提交到Kafka的频率（以毫秒为单位）
        // properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        // KEY的反序列化器类
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // VALUE的反序列化器类
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        return new KafkaConsumer<>(properties);
    }
}

先创建Topic，然后运行Consumer订阅程序，目前还没有消息发布：
在这里插入图片描述
通过Producer发布消息到Topic上：

topic: topic1, partition: 0, offset: 56
topic: topic1, partition: 0, offset: 57
topic: topic1, partition: 0, offset: 58
topic: topic1, partition: 0, offset: 59
topic: topic1, partition: 0, offset: 60
topic: topic1, partition: 0, offset: 61
topic: topic1, partition: 0, offset: 62
topic: topic2, partition: 0, offset: 32
topic: topic2, partition: 0, offset: 33
topic: topic2, partition: 0, offset: 34
topic: topic2, partition: 0, offset: 35
topic: topic2, partition: 1, offset: 24
topic: topic2, partition: 1, offset: 25
topic: topic2, partition: 1, offset: 26
topic: topic3, partition: 1, offset: 24
topic: topic3, partition: 1, offset: 25
topic: topic3, partition: 1, offset: 26
topic: topic3, partition: 0, offset: 32
topic: topic3, partition: 0, offset: 33
topic: topic3, partition: 0, offset: 34
topic: topic3, partition: 0, offset: 35

此时Consumer就可以订阅到消息了，输出如下所示：

topic: topic2, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic2, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic2, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 56, key: key-0, value: value-0
topic: topic1, partition: 0, offset: 57, key: key-1, value: value-1
topic: topic1, partition: 0, offset: 58, key: key-2, value: value-2
topic: topic1, partition: 0, offset: 59, key: key-3, value: value-3
topic: topic1, partition: 0, offset: 60, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 61, key: key-5, value: value-5
topic: topic1, partition: 0, offset: 62, key: key-6, value: value-6
topic: topic2, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic2, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic2, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic2, partition: 0, offset: 35, key: key-6, value: value-6
topic: topic3, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic3, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic3, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic3, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic3, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic3, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic3, partition: 0, offset: 35, key: key-6, value: value-6

因为上次消费没有提交offset，再次运行Consumer订阅程序，会重复消费消息：

topic: topic2, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic2, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic2, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic2, partition: 0, offset: 35, key: key-6, value: value-6
topic: topic3, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic3, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic3, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic2, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic2, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic2, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 56, key: key-0, value: value-0
topic: topic1, partition: 0, offset: 57, key: key-1, value: value-1
topic: topic1, partition: 0, offset: 58, key: key-2, value: value-2
topic: topic1, partition: 0, offset: 59, key: key-3, value: value-3
topic: topic1, partition: 0, offset: 60, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 61, key: key-5, value: value-5
topic: topic1, partition: 0, offset: 62, key: key-6, value: value-6
topic: topic3, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic3, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic3, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic3, partition: 0, offset: 35, key: key-6, value: value-6

提交offset

修改commit方法：

    public static void commit(List<String> topicList) {
        KafkaConsumer<String, String> consumer = createConsumer();
        consumer.subscribe(topicList);
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(10000));
            records.forEach((record) -> {
                System.out.printf("topic: %s, partition: %s, offset: %s, key: %s, value: %s\n",
                        record.topic(), record.partition(), record.offset(), record.key(), record.value());
            });
            consumer.commitSync();
        }
    }

因为上一次消费没有提交offset，运行Consumer订阅程序还是会消费上一次消费过的消息，但这次消费之后提交了offset（通过consumer.commitSync()）。

topic: topic2, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic2, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic2, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 56, key: key-0, value: value-0
topic: topic1, partition: 0, offset: 57, key: key-1, value: value-1
topic: topic1, partition: 0, offset: 58, key: key-2, value: value-2
topic: topic1, partition: 0, offset: 59, key: key-3, value: value-3
topic: topic1, partition: 0, offset: 60, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 61, key: key-5, value: value-5
topic: topic1, partition: 0, offset: 62, key: key-6, value: value-6
topic: topic2, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic2, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic2, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic2, partition: 0, offset: 35, key: key-6, value: value-6
topic: topic3, partition: 1, offset: 24, key: key-0, value: value-0
topic: topic3, partition: 1, offset: 25, key: key-3, value: value-3
topic: topic3, partition: 1, offset: 26, key: key-4, value: value-4
topic: topic3, partition: 0, offset: 32, key: key-1, value: value-1
topic: topic3, partition: 0, offset: 33, key: key-2, value: value-2
topic: topic3, partition: 0, offset: 34, key: key-5, value: value-5
topic: topic3, partition: 0, offset: 35, key: key-6, value: value-6

再次运行Consumer订阅程序，就不会消费上次消费过的消息了。

基于Partition提交offset

Consumer订阅程序：

package com.kaven.kafka.consumer;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class ConsumerTest {

    public static void main(String[] args) {
        commitWithPartition(Arrays.asList("topic1", "topic2", "topic3"));
    }
    
    public static void commitWithPartition(List<String> topicList) {
        KafkaConsumer<String, String> consumer = createConsumer();
        consumer.subscribe(topicList);
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(10000));
            records.partitions().forEach((partition) -> {
                List<ConsumerRecord<String, String>> recordsWithPartition = records.records(partition);
                recordsWithPartition.forEach((record) -> {
                    System.out.printf("topic: %s, partition: %s, offset: %s, key: %s, value: %s\n",
                            record.topic(), record.partition(), record.offset(), record.key(), record.value());
                });
                // 为了测试效果，只提交分区1的offset
                if(partition.partition() == 1) {
                    // 更新offset，即上一次最大的offset + 1
                    long newOffset = recordsWithPartition.get(recordsWithPartition.size() - 1).offset() + 1;
                    Map<TopicPartition, OffsetAndMetadata> newOffsetMap = new HashMap<>();
                    newOffsetMap.put(partition, new OffsetAndMetadata(newOffset));
                    consumer.commitSync(newOffsetMap);
                }
            });
        }
    }

    public static KafkaConsumer<String, String> createConsumer() {
        // Consumer的配置
        Properties properties = new Properties();
        // 服务地址
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.9:9092,192.168.1.9:9093,192.168.1.9:9094");
        // 组ID，用于标识此消费者所属的消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "kaven-test");
        // 关闭offset自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        // 消费者offset自动提交到Kafka的频率（以毫秒为单位）
        // properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        // KEY的反序列化器类
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // VALUE的反序列化器类
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        return new KafkaConsumer<>(properties);
    }
}

运行Consumer订阅程序，然后使用Producer发布消息：

topic: topic1, partition: 0, offset: 63
topic: topic1, partition: 0, offset: 64
topic: topic1, partition: 0, offset: 65
topic: topic1, partition: 0, offset: 66
topic: topic1, partition: 0, offset: 67
topic: topic1, partition: 0, offset: 68
topic: topic1, partition: 0, offset: 69
topic: topic2, partition: 1, offset: 27
topic: topic2, partition: 1, offset: 28
topic: topic2, partition: 1, offset: 29
topic: topic2, partition: 0, offset: 36
topic: topic2, partition: 0, offset: 37
topic: topic2, partition: 0, offset: 38
topic: topic2, partition: 0, offset: 39
topic: topic3, partition: 1, offset: 27
topic: topic3, partition: 1, offset: 28
topic: topic3, partition: 1, offset: 29
topic: topic3, partition: 0, offset: 36
topic: topic3, partition: 0, offset: 37
topic: topic3, partition: 0, offset: 38
topic: topic3, partition: 0, offset: 39

此时Consumer就可以订阅到消息了，输出如下所示：

topic: topic2, partition: 0, offset: 36, key: key-1, value: value-1
topic: topic2, partition: 0, offset: 37, key: key-2, value: value-2
topic: topic2, partition: 0, offset: 38, key: key-5, value: value-5
topic: topic2, partition: 0, offset: 39, key: key-6, value: value-6
topic: topic3, partition: 1, offset: 27, key: key-0, value: value-0
topic: topic3, partition: 1, offset: 28, key: key-3, value: value-3
topic: topic3, partition: 1, offset: 29, key: key-4, value: value-4
topic: topic2, partition: 1, offset: 27, key: key-0, value: value-0
topic: topic2, partition: 1, offset: 28, key: key-3, value: value-3
topic: topic2, partition: 1, offset: 29, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 63, key: key-0, value: value-0
topic: topic1, partition: 0, offset: 64, key: key-1, value: value-1
topic: topic1, partition: 0, offset: 65, key: key-2, value: value-2
topic: topic1, partition: 0, offset: 66, key: key-3, value: value-3
topic: topic1, partition: 0, offset: 67, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 68, key: key-5, value: value-5
topic: topic1, partition: 0, offset: 69, key: key-6, value: value-6
topic: topic3, partition: 0, offset: 36, key: key-1, value: value-1
topic: topic3, partition: 0, offset: 37, key: key-2, value: value-2
topic: topic3, partition: 0, offset: 38, key: key-5, value: value-5
topic: topic3, partition: 0, offset: 39, key: key-6, value: value-6

再运行Consumer订阅程序，Consumer还可以消费到上次没有提交offset的消息（都是分区0中的消息）：

topic: topic1, partition: 0, offset: 63, key: key-0, value: value-0
topic: topic1, partition: 0, offset: 64, key: key-1, value: value-1
topic: topic1, partition: 0, offset: 65, key: key-2, value: value-2
topic: topic1, partition: 0, offset: 66, key: key-3, value: value-3
topic: topic1, partition: 0, offset: 67, key: key-4, value: value-4
topic: topic1, partition: 0, offset: 68, key: key-5, value: value-5
topic: topic1, partition: 0, offset: 69, key: key-6, value: value-6
topic: topic3, partition: 0, offset: 36, key: key-1, value: value-1
topic: topic3, partition: 0, offset: 37, key: key-2, value: value-2
topic: topic3, partition: 0, offset: 38, key: key-5, value: value-5
topic: topic3, partition: 0, offset: 39, key: key-6, value: value-6
topic: topic2, partition: 0, offset: 36, key: key-1, value: value-1
topic: topic2, partition: 0, offset: 37, key: key-2, value: value-2
topic: topic2, partition: 0, offset: 38, key: key-5, value: value-5
topic: topic2, partition: 0, offset: 39, key: key-6, value: value-6

Consumer手动提交offset就介绍到这里，如果博主有说错的地方或者大家有不同的见解，欢迎大家评论补充。

ITKaven
关注
专栏目录
KafkaOffset管理：手动与自动提交
AI大模型应用之禅
06-04 948
1.背景介绍 Apache Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（page views, searches, and other user actions）都被吞吐到kafka的主题（topic）中，处理后被实时（或者其他方式）处理，存储到Hadoop或者其他数据库中，供后续的机器学习，优
Kafka consumer的offset的提交方式
zy353003874的博客
05-12 1683
Kafka consumer的offset提交机制有以下两种 手动提交 同步提交 consumer.commitSync()方式提交 异步提交 consumer.commitAsync(callback)方式提交 ###自动提交 props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); 通过上面启动自动提交以及设置自动提交间隔时间(默认为5s) 源码分析 同步提交源码分析 同步提交的核心代
Kafka手动提交offset
moon_and_ant的博客
04-16 5238
1 监听代码 import org.apache.kafka.clients.consumer.ConsumerRecord; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.kafka.listener.AcknowledgingMessageListener; impo...
Kafka 实战 - Offset的自动提交和手动提交
qq_33240556的博客
04-10 706
在Apache Kafka中，消费者在消费消息时需要跟踪并管理其消费的每个分区的偏移量（Offset）。Kafka提供了两种偏移量提交方式：自动提交和手动提交。理解并合理使用这两种提交方式对保证消息的正确消费至关重要。在实际使用中，还可以结合两种提交方式的优点，如在大部分情况下使用自动提交，但在关键消息处理路径上使用手动提交，以兼顾消息处理的可靠性和代码的简洁性。是指消费者在后台周期性地自动将当前消费到的偏移量提交回Kafka。是指应用程序在消费消息后，显式调用。
Kafka(七) offset机制
最新发布
技术博客
08-04 878
Offset 是 Kafka 中标识消息在分区内位置的一个唯一标识符。每个消息都有一个对应的 Offset 值，用于表示消息在分区中的相对位置。Offset 的管理对于确保消息处理的顺序性和容错性非常重要。就是消费的位置偏移量offset 是 Kafka 为每条消息分配的一个唯一的编号，它表示消息在分区中的顺序位置。offset 是从 0 开始的，每当有新的消息写入分区时，offset 就会加 1。offset 是不可变的，即使消息被删除或过期，offset 也不会改变或重用。
【Kafka】【十六】Offset的自动提交和手动提交
鸟人的博客
02-13 865
消费者⽆论是⾃动提交还是⼿动提交，都需要把所属的消费组+消费的某个主题+消费的某个分区及消费的偏移量，这样的信息提交到集群的_consumer_offsets主题⾥⾯。
关于Kafka 的 consumer 消费者手动提交详解
weixin_34409822的博客
02-08 2246
前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提交，这样很容易丢失数据，尤其是...
Kafka 的 consumer 消费者手动提交详解
u012632105的博客
08-15 362
Kafka 的 consumer 消费者手动提交详解
Kafka3.0.0版本——消费者（手动提交offset）
小志的博客
09-10 1024
Kafka3.0.0版本——消费者（手动提交offset）
Kafka：消费者手动提交
程序员无羡的博客
03-21 3734
Kafka：设置消费者手动提交offset
python kafka offset自动提交_关于Kafka 的 consumer 消费者手动提交详解
weixin_39837124的博客
12-19 1721
前言在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。应用场景在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提交，这样很容易丢失数据，尤其是在需要事...
Kafka 之 offset 手动提交
weixin_49063354的博客
08-28 2614
Kafka之手动提交 offset 虽然自动提交offset十分简介便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时 机。因此Kafka还提供了手动提交offset的API。 手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两 者的相同点是，都会将本次poll的一批数据最高的偏移量提交；不同点是，commitSync阻塞当前线 程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而 commitAsy
Kafka应用点滴（一）——Springboot集成Kafka之手动提交offset
wy13523的专栏
03-20 2127
Springboot集成kafka，在实验consumer手动提交offset时，发现设置spring.kafka.consumer.enable-auto-commit=false后，没有调用consumer.commitAsync()的情况下，offset仍然被提交，经查其实spring在负责“手动”提交，按官网说法，有以下几种提交模式： RECORD - commit t...
Kafka Consumer位移（Offset）提交——解决Consumer重复消费和消息丢失问题
热门推荐
warybee
12-17 1万+
消费者提交位移（offset），是消费者往一个名为`_consumer_offset`的特殊主题发送消息，消息中包含每个分区的位移量。它记录了 Consumer 要消费的下一条消息的位移。**切记是下一条消息的位移**，而不是目前最新消费消息的位移。
Kafka-消费者-KafkaConsumer分析-offset操作
andy的博客
01-22 2596
commitOffsetsSync()方法与commitOffsetsAsync()方法的实现类似，也是调用sendOffsetCommitRequest()方法创建并缓存OffsetCommitRequest,使用OffsetCommitResponseHandler处理OffsetCommitResponse。在有些场景下，例如第一次消费某个Topic的分区，服务端的内部Offsets Topic中并没有记录当前消费者在此分区上的消费位置，所以消费者无法从服务端获取最近提交的offset。
kafka消费者配置-手动提交offset-初级入门五
点滴记忆，分享成长之路
12-22 2491
手工提交offset分2种： 同步 commitSync 阻塞当前线程 (自动失败重试) 异步 commitAsync 不会阻塞当前线程 (没有失败重试，回调callback函数获取提交信息，记录日志)
kafka 自动与手动管理offset
m0_55613022的博客
03-15 3457
前言 offset顾名思义，即偏移量，我们知道消息从生产者发送到kafka的topic之后，是进入到不同的分区，在consumer未对消息进行消费之前，消息是有序存储在各个分区中； offset内部原理 在之前我们了解了kafka的消费者原理之后，提出这样一个疑问，kafka怎么知道某个消费组中的消费者消费消息的进度呢？ 1、从0.9版本开始，consumer默认将offset保存在Kafka ，一个内置的topic中，该topic为__consumer_offsets； 2、 Kafka0.9版本之前，
关于Kafka消费者中的偏移量的提交(Commits and Offsets)
Lestat.Z.的博客
04-21 4745
关于Kafka消费者中的偏移量的提交概述KafkaConsumer API中多种提交偏移的方法自动提交(Automatic Commit)提交当前偏移量异步提交(Asynchronous Commit)结合同步和异步提交提交指定的偏移量参考资料 概述 每当我们调用poll()时，它都会返回之前被写入Kafka的记录，即我们组中的消费者还没有读过的记录。 这意味着我们有一种方法可以跟踪该组消费者读取...
消息队列-kafka提交offset问题
weixin_38312719的博客
05-18 4027
说明：转载本人掘金文章 概述 offset是相对Consumer来说的，offset是用来帮助记录某个主题某个分区的消费情况的。当你每提交一次offset,意味着向kafka汇报一次消费进度，对于提交offset所以又分为同步和异步提交 同步和异步提交offset对比 同步提交： 1.每次处理完一条消息，然后调用consumer.commitSync()提交offset 2.在调用consumer.commitSync()方法时候会堵塞住，严重影响消费者性能 3.每次提交都会向__consumer_offs
kafka消费者怎么手动提交offset
07-10
以下是一个示例代码片段，展示了如何手动提交offset： ```java Properties props = new Properties(); props.put("bootstrap.servers", "your-bootstrap-servers"); props.put("group.id", "your-consumer-group");...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ITKaven

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值