kafka--consumer拉取消息的方式

已于 2022-08-23 22:21:11 修改
阅读量2.3k 收藏 3
点赞数
分类专栏： kafka 2022 文章标签： kafka
于 2022-08-23 22:18:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsj11514oo/article/details/126493787
版权

consumer拉取消息的方式，主要Kafka的索引文件和log文件有关系，.index是通过offset来拉取，.timeindexl通过时间戳的方式来拉取，那么，从这个角度出发，consumer拉取消息的方式主要为按offset拉取和按时间戳拉取，默认是从broker服务器中记录的offset拉取，一般代码中不用指出，broker服务器的offset文件会为大家记录。

producer

package com.tsj.kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class kafkaProducer01 {
    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";

    private static Properties initProperties() {

        Properties properties = new Properties();
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("bootstrap.servers", brokerList);
        return properties;
    }

    public static void main(String[] args) {
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(initProperties());

        for (int i = 0; i < 100; i++) {
            ProducerRecord<String, String> record = new ProducerRecord<>(topic, "key+" + i, "hello world");
            try {
                producer.send(record);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        producer.close();
    }
}

consumer

1.按offset方式拉取

（1）默认的offset拉取

新的group从offset=0开始拉取，之后，broker记录offset消费位置，每次拉取偏移量为broker中最新消费进度offset值。

package com.tsj.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndTimestamp;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo05";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(initProperties());
        consumer.subscribe(Collections.singletonList(topic));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("partition:"+record.partition()+" offset:"+record.offset()
                        +" key"+record.key()+" value"+ record.value() +" time:"+record.timestamp());
            }
        }
    }
}

在这里插入图片描述

（2）指定offset拉取
package com.tsj.kafka;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo06";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        //2.根据offset拉取数据 指定从offset=400开始拉取消费
        KafkaConsumer<String, String> consumer1 = new KafkaConsumer<>(initProperties());
        Map<TopicPartition, OffsetAndMetadata> hashMaps = new HashMap<TopicPartition, OffsetAndMetadata>();
        hashMaps.put(new TopicPartition(topic, 0), new OffsetAndMetadata(400L));
        consumer1.commitSync(hashMaps);
        consumer1.subscribe(Arrays.asList(topic));
        ConsumerRecords<String, String> records = consumer1.poll(1000);
        for (ConsumerRecord<String, String> record : records) {
            System.out.println("partition:"+record.partition()+" offset:"+record.offset() + " key"+record.key()+" value"+ record.value() +" time:"+record.timestamp());
        }
    }
}

在这里插入图片描述

2.按时间戳方式拉取

先从时间戳查询到offset，然后通过seek定位到offset位置，在开始拉取消费。

package com.tsj.kafka;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo07";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        //3.根据时间拉取数据 指定从时间戳=1661254128065开始拉取消费
        Long time = 1661254128065L;
        KafkaConsumer<String, String> consumer2 = new KafkaConsumer<>(initProperties());

        //获取分区
        Map<TopicPartition, Long> tts = new HashMap<>();
        List<PartitionInfo> partitionInfos = consumer2.partitionsFor(topic);
        List<TopicPartition> topicPartitions = new ArrayList<>(partitionInfos.size());

        for (PartitionInfo partitionInfo : partitionInfos) {
            topicPartitions.add(new TopicPartition(partitionInfo.topic(), partitionInfo.partition()));
            tts.put(new TopicPartition(partitionInfo.topic(), partitionInfo.partition()), time);
        }

        consumer2.assign(topicPartitions);
        Map<TopicPartition, OffsetAndTimestamp> offtime_map = consumer2.offsetsForTimes(tts);

        for (TopicPartition partition : topicPartitions) {
            //通过取回的offset数据，通过consumer的seek方法，修正自己的消费偏移
            OffsetAndTimestamp offsetAndTimestamp = offtime_map.get(partition);
            long offset = offsetAndTimestamp.offset();
            System.out.println("partition:" + partition + " time:" + offsetAndTimestamp.timestamp() + " offset:" + offset);
            // 设置读取消息的偏移量
            consumer2.seek(partition, offset);
        }

        while (true) {
            ConsumerRecords<String, String> records = consumer2.poll(1000);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("partition:" + record.partition() + " offset:" + record.offset() + " key" + record.key() + " value" + record.value() + " time:" + record.timestamp());
            }
        }
    }
}

在这里插入图片描述

童小绿
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kafka定时任务拉取数据
LMC技术人生专栏
12-04 7321
1 定时任务两种， 2 消费分组消费从哪里开始，不消费历史数据 定时主要是为了延迟拉消费，最简单方式 直接批量拉取之后， ack批量提交后， 线程挂起3秒，更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ack.acknowledge(); ...
从kafka读取消息C#
10-08
C# Demo，从kafka中读取消息， wpf源码，有需要的同学可以参考
【软件工具】在Java语言中如何使用 Kafka 消费者（KafkaConsumer）来消费消息及如何用idea实现
最新发布
weixin_46453070的博客
06-26 1836
在 IntelliJ IDEA 中实现 Java 语言的 Kafka 消费者（KafkaConsumer）非常简单，下面我将详细介绍如何配置和实现一个基本的 Kafka 消费者应用程序。通过以上步骤，你可以在 IntelliJ IDEA 中快速创建和运行 Kafka 消费者应用程序，并进行必要的配置和开发。通过以上步骤，你可以编写一个基本的 Kafka 消费者应用程序，用于消费和处理 Kafka 集群中的消息。KafkaConsumer 需要配置 Kafka 的连接信息和消费者的属性。
一文读懂kafka消息拉取机制｜线程拉取模型
weixin_42179304的博客
03-31 501
又是一年求职季，在这里，我为各位准备了一套Java程序员精选高频面试笔试真题，来帮助大家攻下BAT的offer，题目范围从初级的Java基础到高级的分布式架构等等一系列的面试题和答案，用于给大家作为参考以下是部分内容截图《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！试题和答案，用于给大家作为参考以下是部分内容截图[外链图片转存中…(img-onpAMIUb-1711868214199)]
拉取kafka消息
zxc19854的博客
06-11 1238
package kafka; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java...
【kafka】手动拉取消息
ooooooooooooooxiaosu的博客
09-22 963
【kafka】手动拉取消息
# Kafka Consumer获取消息形式
G_Hello_World的博客
03-19 410
Kafka消息获取形式
kafka-producer-consumer
03-14
Kafka消费者则是从主题中拉取消息的应用程序。消费者通过订阅主题来接收消息。Python中同样可以使用`kafka-python`库来创建消费者。消费者需要在一个组内工作，以便实现负载均衡和故障恢复。 ```python from kafka ...
kafka-分布式消息系统
01-27
生产者（producer）负责将消息推送到broker，而消费者（consumer）则从broker拉取消息。消费者被组织成消费者组，每个组内的消费者共享分区，确保消息被均匀消费。 Kafka与其他消息中间件如RedisMQ和ActiveMQ相比，...
spring-kafka-producer-consumer-example_java_springboot_kafka_
09-30
标题中的“spring-kafka-producer-consumer-example”表明这是一个关于Spring Boot应用，它使用了Apache Kafka作为消息中间件，展示了生产者（producer）和消费者（consumer）的实现。描述中的“Simple application ...
kafka-2.13-3.5.1.tgz
07-25
- **Consumer**：消费者从Kafka主题中拉取数据进行处理。 - **Consumer Group**：消费者可以组织成组，同一组内的消费者会共享主题中的数据，确保每个消息只被消费一次。 3. **Kafka的特点** - **高吞吐量**：...
kafka读取写入数据
08-24
kafka读取写入数据
kafka-consumer:Kafka消费者示例
05-15
KafkaConsumer, String> consumer = new KafkaConsumer(props); consumer.subscribe(Collections.singletonList("myTopic")); // 订阅主题 while (true) { ConsumerRecords, String> records = consumer.poll...
SparkStreaming读取kafka数据的两种方式（receive与direct）对比
wjt199866的博客
07-01 1204
陈诉 大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。总之，通过新方法创建出来的dstream的rddpartition和kafka的topic的partition是一一对应的，通过低阶API直接从kafka的topic消费消息，，默认将偏移量保存在kafka内部。 对比 Receive Receive是使用的高级API，需要消费者连接Zo.
sparkStreaming读取kafka数据的2种方式
qq_32736999的博客
11-11 633
方式一  Receiver           使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志...
虎牙技术二面：详细说说Kafka拉消息的过程？
qq_19007169的博客
05-06 331
副本机制是Kafka实现数据高可靠性的基础：同一个分区下的多个副本分散在不同的Broker机器上，它们保存相同的消息数据以实现高可靠性。那如何确保所有副本上的数据一致性呢？最常见方案当属Leader/Follower备份机制（Leader/Follower Replication）。Kafka分区的： 某个副本会被指定为Leader，负责响应客户端的读、写请求 其他副本自动成为Follower，被动同步Leader副本中的数据被动同步：Follower副本不断向Leader副本发送读取请求，以获取Lea
Spark获取Kafka数据的两种方式（源码）
spark的自由牧场的博客
02-06 6528
简单解析一下DirectKafkaInputDStream的概念1：获取kafka数据 由于DirectKafkaInputDStream 不是继承自ReceiverInputDStream。所以不需要有Receiver 所以也就没有获取数据，然后将数据存在内存block里面，也就没有block信息等等 2：读取数据 使用Direct的方式的好处之一就是，在要使用数据的时候才去取数据。 在
从kafka拉取消息的内部过程
weixin_42594427的博客
02-12 105
Kafka 是一种分布式消息系统，它使用生产者将消息写入到一组特定的分区中，并使用消费者从分区中读取消息。在从 Kafka 拉取消息的内部过程中，消费者会与 Kafka 集群进行通信，以请求消息的分配和管理。 当消费者第一次请求消息时，它会与 Kafka 集群中的一个或多个副本节点进行通信，以确定其当前的消息分配。Kafka 使用一种称为消费组的概念，该概念允许多个消费者共同读取同一个分区的消息，...
kafka-java统计kafka消息转发量
11-12
为了统计Kafka消息的转发量，可以使用Kafka的Java客户端API来编写一个消费者应用程序。以下是实现此目的的步骤： 1.创建一个Kafka消费者对象，指定要消费的主题和Kafka集群的地址。 2.在消费者对象上调用subscribe()方法，订阅要消费的主题。 3.在消费者对象上调用poll()方法，从Kafka集群中拉取消息。 4.对于每个拉取到的消息，将其转发到目标位置，并将转发计数器加1。 5.在处理完所有消息后，输出转发计数器的值。 下面是一个示例代码，用于统计Kafka消息的转发量： ```java import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.serialization.StringDeserializer; import java.util.Collections; import java.util.Properties; public class KafkaMessageForwarder { private static final String TOPIC_NAME = "my-topic"; private static final String KAFKA_SERVER_URL = "localhost:9092"; private static final String GROUP_ID = "my-group"; public static void main(String[] args) { Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, KAFKA_SERVER_URL); props.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP_ID); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList(TOPIC_NAME)); int forwardCount = 0; while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord<String, String> record : records) { // 将消息转发到目标位置 forwardMessage(record.value()); forwardCount++; } if (records.count() > 0) { // 提交偏移量 consumer.commitSync(); } } System.out.println("Total forwarded messages: " + forwardCount); } private static void forwardMessage(String message) { // 将消息转发到目标位置的代码 } } ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值