Kafka消费者手动提交消息偏移

最新推荐文章于 2024-09-06 11:39:05 发布
最新推荐文章于 2024-09-06 11:39:05 发布
阅读量503 收藏 2
点赞数
分类专栏： kafka
原文链接：https://www.cnblogs.com/darange/p/9768791.html
版权

 

生产者每次调用poll()方法时，它总是返回由生产者写入Kafka但还没有消费的消息，如果消费者一致处于运行状态，那么分区消息偏移量就没什么用处，但是如果消费者发生崩溃或者有新的消费者加入群组，就会触发再均衡，完成再均衡之后，每个消费可能分配到新的分区，而不是之前处理的那个，为了能够继续之前的工作，消费者需要读取每个分区最后一次提交的偏移量，然后从偏移量制定的地方开始工作。消费者会往一个__consumer_offser的主题发送消息，消息里包含每个分区的偏移量。

1.同步提交

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Collections;
import java.util.Properties;

/**
 * Created by zhangpeiran on 2018/10/9.
 */
public class MyConsumer {

    public static void main(String[] args){
        Properties properties = new Properties();
        properties.put("bootstrap.servers","ip:9092");
        properties.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("group.id","DemoConsumerGroup");

        //默认值为latest，当消费者读取的分区没有偏移量或偏移量无效时，消费者将从最新的记录开始读
        //当一个消费group第一次订阅主题时，符合这种情况，在Consumer启动之前，Producer生产的数据不会被读取
        //置为earliest，表示从分区起始位置读取消息
        properties.put("auto.offset.reset","earliest");

        //设置手动提交消息偏移
        properties.put("enable.auto.commit","false");

        //一次拉取的最大消息条数
        properties.put("max.poll.records",10);


        KafkaConsumer<String,String> consumer = new KafkaConsumer<String, String>(properties);

        consumer.subscribe(Collections.singletonList("Demo3"));

        int count = 0;
        try {
            while (true){
                ConsumerRecords<String,String> records = consumer.poll(10);
                for(ConsumerRecord<String ,String> record : records){
                    count ++;
                    if(count == 50)
                        consumer.commitSync();
                    System.out.println(record.topic() + "," + record.partition() + "," + record.offset() + "," + record.key() + "," + record.value());
                }
                System.out.println(count);
            }
        } finally {
            consumer.close();
        }
    }
}

说明：在上述例子中，主题Demo3中已经有100条消息，第一次远行Consumer时，在读取到50条消息时，提交一次偏移量，输出的count值为100；第二次不改变消费group，会从51条开始读取，所以输出的count值为50

2. 异步提交，同步提交时，在broker回应指，会一直阻塞、重试，限制应用的吞吐量，因此可以采用异步提交，异步提交失败时不会重试，因为如果提交失败时因为临时的问题导致的，那么后续的提交总户有成功的。

consumer.commitAsync();

3. 同步、异步组合提交，确保消费者在关闭或者再均衡之前提交成功

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Collections;
import java.util.Properties;

/**
 * Created by zhangpeiran on 2018/10/9.
 */
public class MyConsumer {

    public static void main(String[] args){
        Properties properties = new Properties();
        properties.put("bootstrap.servers","ip:9092");
        properties.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("group.id","DemoConsumerGroup");

        //默认值为latest，当消费者读取的分区没有偏移量或偏移量无效时，消费者将从最新的记录开始读
        //当一个消费group第一次订阅主题时，符合这种情况，在Consumer启动之前，Producer生产的数据不会被读取
        //置为earliest，表示从分区起始位置读取消息
        properties.put("auto.offset.reset","earliest");

        //设置手动提交消息偏移
        properties.put("enable.auto.commit","false");

        //一次拉取的最大消息条数
        properties.put("max.poll.records",10);


        KafkaConsumer<String,String> consumer = new KafkaConsumer<String, String>(properties);

        consumer.subscribe(Collections.singletonList("Demo3"));

        int count = 0;
        try {
            while (true){
                ConsumerRecords<String,String> records = consumer.poll(10);
                for(ConsumerRecord<String ,String> record : records){
                    count ++;
                    //if(count == 50)
                        //consumer.commitAsync();
                        //consumer.commitSync();
                    System.out.println(record.topic() + "," + record.partition() + "," + record.offset() + "," + record.key() + "," + record.value());
                }
                consumer.commitAsync();
                //System.out.println(count);
            }
        } finally {
            try {
                consumer.commitSync();
            } finally {
                consumer.close();
            }
            //consumer.close();
        }
    }
}

 5. 提交特定的偏移量。前面提交的是最后一个偏移量，poll可能返回了大批数据，这样在再均衡时，可能重复处理的消息比较多。消费者API提供了指定分区和偏移量来提交


import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.TopicPartition;

import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

/**
 * Created by zhangpeiran on 2018/10/9.
 */
public class MyConsumer {

    public static void main(String[] args){
        Properties properties = new Properties();
        properties.put("bootstrap.servers","ip:9092");
        properties.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("group.id","DemoConsumerGroup");

        //默认值为latest，当消费者读取的分区没有偏移量或偏移量无效时，消费者将从最新的记录开始读
        //当一个消费group第一次订阅主题时，符合这种情况，在Consumer启动之前，Producer生产的数据不会被读取
        //置为earliest，表示从分区起始位置读取消息
        properties.put("auto.offset.reset","earliest");

        //设置手动提交消息偏移
        properties.put("enable.auto.commit","false");

        //一次拉取的最大消息条数
        properties.put("max.poll.records",1000);


        KafkaConsumer<String,String> consumer = new KafkaConsumer<String, String>(properties);

        consumer.subscribe(Collections.singletonList("Demo5"));


        int cnt = 0;
        int count = 0;
        Map<TopicPartition,OffsetAndMetadata> currentOffsets = new HashMap<TopicPartition,OffsetAndMetadata>();
        try {
            while (true){
                ConsumerRecords<String,String> records = consumer.poll(10);
                for(ConsumerRecord<String ,String> record : records){
                    count ++;
                    //if(count == 50)
                        //consumer.commitAsync();
                        //consumer.commitSync();
                    
                    //offset + 1，下次消费者从该偏移量开始拉取消息
                    currentOffsets.put(new TopicPartition(record.topic(),record.partition()),new OffsetAndMetadata(record.offset()+1,"no"));
                    if ((count / 10 == 1) && (count % 10 == 0)){
                        System.out.println(count);
                        consumer.commitSync(currentOffsets);
                    }
                    System.out.println(record.topic() + "," + record.partition() + "," + record.offset() + "," + record.key() + "," + record.value());
                }
                //consumer.commitAsync();

                cnt ++;
            }
        } finally {
            try {
                //consumer.commitSync();
            } finally {
                consumer.close();
            }
            //consumer.close();
        }
    }
}

 

sxzshushu
关注
专栏目录
Kafka 新的消费组默认的偏移量设置和消费行为
weixin_44976692的博客
06-19 5万+
Kafka 新的消费组默认的偏移量设置和消费行为
Kafka消费者的手动提交详解
DeoSql的博客
09-17 468
默认情况下，Kafka消费者是自动提交消费偏移量（Offset）的，但有时候我们需要手动控制何时提交偏移量，以便更好地控制消息的处理。但需要谨慎使用手动提交，确保在适当的时机进行提交，以避免重复消费或丢失消息。在消息处理的循环中，我们首先消费消息，然后手动提交偏移量。方法，我们可以手动提交偏移量，以便在下次启动消费者时从正确的位置开始消费。通过手动提交，我们可以更好地控制消息的处理，并确保消息被正确消费。如果提交成功，消费者的偏移量就会被记录下来，以便下次从正确的位置开始消费。方法来手动提交偏移量。
Kafka 8：消费者手动提交偏移量（解决消息丢失与重复消费问题）
Fisher3652的博客
07-13 7188
1.消费者提交偏移量导致的问题 当我们调用 poll 方法的时候，broker 返回的是生产者写入 Kafka 但是还没有被消费者读取过的记录，消费者可以使用 Kafka 来追踪消息在分区里的位 置，我们称之为偏移量。消费者更新自己读取到哪个消息的操作，我们称之为提交。 消费者是如何提交偏移量的呢？消费者会往一个叫做_consumer_offset 的特殊主题发送一个消息，里面会包括每个分区的偏移量。发生了再均衡之后， 消费者可能会被分配新的分区，为了能够继续工作，消费者者需要读取每个分区最后一次提交的偏
Kafka 如何高效地发送消息
weixin_42494845的博客
12-18 364
看了上一篇文章的同学，肯定都知道了Kafka是如何高效地写入消息的，那么问题来了，它又是如何高效地发送消息给消费者的呢？ 答案是零拷贝技术。 零拷贝技术 没错，熟悉java的同学应该都知道Netty也是采用了零拷贝技术吧，Kafka和它是类似的。 零拷贝，从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能。 那么什么是不需要的拷贝呢？ 如果Kafka很简单的从磁盘读数据发送给下游的消费者，那么大概过程如下： 先看看要读的数据在不在os cache（操作系统缓存）里，如果不在的话就从磁盘文件里
Kafka【十三】消费者消费消息的偏移量
最新发布
小小默：进无止境
09-06 1338
偏移量offset是消费者消费数据的一个非常重要的属性。默认情况下，消费者如果不指定消费主题数据的偏移量，那么消费者启动消费时，无。如果想要获取之前的数据，就需要设定配置参数或指定数据偏移量。
python使用kafka生产和消费案例
weixin_43813200的博客
05-01 2656
// confluent_kafka 使用案例 import json from confluent-kafka import Producer topic_name = "" conf = { // 集群，或者服务器名 "bootstrap.servers":"", // 安全隧道 "security.protocol":"sasl_plaintext", //加密方式 "sasl.mechanism":"SCRAM-SHA-256" // 账号密码 "sasl.username":"", "sasl.
kafka消费者客户端中偏移量位移offset，手动提交位移offset
LeoHan
05-03 2168
在Kafka服务端中每个分区的每条消息都有唯一的offset，用来表示消息在分区中对应的位置。对于消费者客户端而言，也有一个offset，表示的是消费到分区中某个消息所在的位置。 消费者客户端每次调用poll时返回的是未被消费的消息，为了能够知道哪些消息被消费过，哪些消息未被消费，消费者客户端使用offset来记录上一次消费位置。为了做到这一点，需要将消费位移进行持久化而不是简单的保存在内存中，这...
【kafka】消费者位移提交
qq_43460095的博客
08-09 373
消费者位移：Consumer Offset ，表示消费者消费到的位置消息位移：Offset ， 表示消息在分区中的位置。
【Kafka面试演练】那Kafka消费者手动提交、自动提交有什么区别？(2)
2401_84167086的博客
04-30 443
是这样的，Kafka的相比同步提交，不需要在brocker响应前阻塞线程。但是异步提交我们是不知道消费情况的，所以就可以在Kafka消费异常时，通过其来告知程序，从而进行日志记录。面试官思考中…
kafka 主动消费_Kafka ack消费确认-提交和偏移量 详解
weixin_39672680的博客
12-20 2654
我一直觉得kafka是做消息的最佳选择，因为我们最关注的就是消息丢失问题，重复消费问题，性能问题，而kafka正是这方面的典范，虽然我也用过redis和其他mq做过消息。这里我想好好研究一下kafka实现ack的机制，它是怎样提交确认消息的。1.kafka消费提交KafkaConsumer(消费者)每次调用 poll()方法，它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录， 我们因...
kafka消费者异步手动提交偏移量方法怎么写
05-20
Kafka消费者异步手动提交偏移量一般需要以下几个步骤： 1. 创建Kafka消费者并订阅topic。 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id...
Kafka的消息自动提交和手动提交
热门推荐
终生学习践行者
12-17 1万+
详细介绍了Kafka的消息自动提交和手动提交，即使kafka client和spring kafka的区别。
kafka（八：位移提交offset）
pangkai59的博客
05-07 345
老版本的kafka Offset是Consumer 的消费位移，记录了 Consumer 要消费的下一条消息的位移。 Consumer 需要向 Kafka 汇报自己的位移数据，这个过程被称为提交位移。Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即Consumer 需要为分配给它的每个分区提交各自的位移数据。 提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够从 Kafka 中读取之前提交的位移值，然后从..
kafka详解二
热情、奔放、快乐编程！
09-02 2199
同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是1G，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种特性能够使得老的segment可以被快速清除。默认保留7天的数据。每次满1G后，在写入到一个新的文件中。
Kafka消费者提交偏移量
Lucius_的博客
01-22 1131
在Kafka中，偏移量（offset）是一个与分区相关的概念，用于跟踪一个消费者在分区中已经处理的消息位置。每个分区都有自己的偏移量，用于记录已经传递给消费者的消息的位置。
什么是消息偏移量（Offset）？
wzxue1984的博客
07-30 841
Kafka允许消费者以灵活的方式控制消息的消费位置，通过设置消费者的偏移量来决定从哪个偏移量开始消费。消费者可以从最早的偏移量开始消费（即从分区的起始位置开始），也可以从最新的偏移量开始消费（即即时消费）。每个分区中的消息都有一个递增的偏移量，用于唯一标识该消息在分区中的位置。消费位置控制：消费者可以控制自己消费消息的位置，通过设置消费的起始偏移量，可以指定从哪个偏移量开始消费消息，以控制消费的范围。唯一标识：每条消息在分区中的偏移量是唯一的，用于标识消息在分区中的位置。
头歌educoder-kafka入门篇
qq_52313093的博客
12-23 4939
头歌educoder-kafka入门篇 第一关kafka-初体验 #!/bin/bash #1.创建一个名为demo的Topic kafka-topics.sh -create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 3 --topic demo #2.查看所有Topic kafka-topics.sh --list --zookeeper 127.0.0.1:2181 #3.查看名为demo的Topic的详情信息 ka
Kafka 消费者提交消费位移时提交的是当前消费到的最新消息的 offset 还是 offset+1?
码农架构
02-05 1779
对于 Kafka 中的分区而言，它的每条消息都有唯一的 offset，用来表示消息在分区中对应的位置。对于消费者而言，它也有一个 offset 的概念，消费者使用 offset 来表示消费到分区中某个消息所在的位置。 单词“offset”可以翻译为“偏移量”，也可以翻译为“位移”。很多朋友都有不同的认识，我比赞同这类说法：对 offset 做了一些区分：对于消息在分区中的位置，我们将 offset 称为“偏移量”；对于消费者消费到的位置，将 offset 称为“位移”，有时候也会更明确地称之为“消费位移”
消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
qq_33240556的博客
02-05 196
在 Apache Kafka 中，消费者提交消费位移时通常提交的是当前消费到的最新消息的下一个offset（即 offset+1）。这是因为Kafka消费者在读取消息时，一旦确认处理完某个offset对应的消息，就表示它已经准备好消费下一个offset的消息。这样设计的原因是基于consumer的消费逻辑：当消费者请求消息时，它会从当前已知的最高已消费偏移量开始获取下一批次的消息。如果提交的是当前消费到的消息的offset，那么下次消费者拉取数据时将会再次获取到刚刚处理过的那条消息，从而导致重复消费。
kafka消费者手动提交
11-24
Kafka消费者可以使用手动提交来控制消息的提交。手动提交可以确保消息被正确处理并且不会丢失。下面是一个手动提交的示例代码： ```python from kafka import KafkaConsumer, TopicPartition consumer = Kafka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值