kafka--consumer拉取消息的方式

已于 2022-08-23 22:21:11 修改
阅读量2.3k 收藏 3
点赞数
分类专栏： kafka 2022 文章标签： kafka
于 2022-08-23 22:18:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsj11514oo/article/details/126493787
版权

consumer拉取消息的方式，主要Kafka的索引文件和log文件有关系，.index是通过offset来拉取，.timeindexl通过时间戳的方式来拉取，那么，从这个角度出发，consumer拉取消息的方式主要为按offset拉取和按时间戳拉取，默认是从broker服务器中记录的offset拉取，一般代码中不用指出，broker服务器的offset文件会为大家记录。

producer

package com.tsj.kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class kafkaProducer01 {
    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";

    private static Properties initProperties() {

        Properties properties = new Properties();
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("bootstrap.servers", brokerList);
        return properties;
    }

    public static void main(String[] args) {
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(initProperties());

        for (int i = 0; i < 100; i++) {
            ProducerRecord<String, String> record = new ProducerRecord<>(topic, "key+" + i, "hello world");
            try {
                producer.send(record);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        producer.close();
    }
}

consumer

1.按offset方式拉取

（1）默认的offset拉取

新的group从offset=0开始拉取，之后，broker记录offset消费位置，每次拉取偏移量为broker中最新消费进度offset值。

package com.tsj.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndTimestamp;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo05";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(initProperties());
        consumer.subscribe(Collections.singletonList(topic));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("partition:"+record.partition()+" offset:"+record.offset()
                        +" key"+record.key()+" value"+ record.value() +" time:"+record.timestamp());
            }
        }
    }
}

在这里插入图片描述

（2）指定offset拉取
package com.tsj.kafka;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo06";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        //2.根据offset拉取数据 指定从offset=400开始拉取消费
        KafkaConsumer<String, String> consumer1 = new KafkaConsumer<>(initProperties());
        Map<TopicPartition, OffsetAndMetadata> hashMaps = new HashMap<TopicPartition, OffsetAndMetadata>();
        hashMaps.put(new TopicPartition(topic, 0), new OffsetAndMetadata(400L));
        consumer1.commitSync(hashMaps);
        consumer1.subscribe(Arrays.asList(topic));
        ConsumerRecords<String, String> records = consumer1.poll(1000);
        for (ConsumerRecord<String, String> record : records) {
            System.out.println("partition:"+record.partition()+" offset:"+record.offset() + " key"+record.key()+" value"+ record.value() +" time:"+record.timestamp());
        }
    }
}

在这里插入图片描述

2.按时间戳方式拉取

先从时间戳查询到offset，然后通过seek定位到offset位置，在开始拉取消费。

package com.tsj.kafka;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

public class kafkaConsumer01 {

    public static final String brokerList = "127.0.0.1:9092";
    public static final String topic = "test_topic";
    public static final String groupId = "demo07";

    private static Properties initProperties() {
        Properties properties = new Properties();
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("bootstrap.servers", brokerList);
        //调用返回的记录数
        properties.put("max.poll.records", Integer.MAX_VALUE);
        //可以取值为latest（从最新的消息开始消费）或者earliest（从最老的消息开始消费）
        properties.put("auto.offset.reset", "earliest");
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        properties.put("group.id", groupId);
        return properties;
    }

    public static void main(String[] args) {
        //3.根据时间拉取数据 指定从时间戳=1661254128065开始拉取消费
        Long time = 1661254128065L;
        KafkaConsumer<String, String> consumer2 = new KafkaConsumer<>(initProperties());

        //获取分区
        Map<TopicPartition, Long> tts = new HashMap<>();
        List<PartitionInfo> partitionInfos = consumer2.partitionsFor(topic);
        List<TopicPartition> topicPartitions = new ArrayList<>(partitionInfos.size());

        for (PartitionInfo partitionInfo : partitionInfos) {
            topicPartitions.add(new TopicPartition(partitionInfo.topic(), partitionInfo.partition()));
            tts.put(new TopicPartition(partitionInfo.topic(), partitionInfo.partition()), time);
        }

        consumer2.assign(topicPartitions);
        Map<TopicPartition, OffsetAndTimestamp> offtime_map = consumer2.offsetsForTimes(tts);

        for (TopicPartition partition : topicPartitions) {
            //通过取回的offset数据，通过consumer的seek方法，修正自己的消费偏移
            OffsetAndTimestamp offsetAndTimestamp = offtime_map.get(partition);
            long offset = offsetAndTimestamp.offset();
            System.out.println("partition:" + partition + " time:" + offsetAndTimestamp.timestamp() + " offset:" + offset);
            // 设置读取消息的偏移量
            consumer2.seek(partition, offset);
        }

        while (true) {
            ConsumerRecords<String, String> records = consumer2.poll(1000);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("partition:" + record.partition() + " offset:" + record.offset() + " key" + record.key() + " value" + record.value() + " time:" + record.timestamp());
            }
        }
    }
}

在这里插入图片描述

童小绿
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kafka-spark-consumer
05-02
Kafka-Spark-Consumer的自述文件 注意：此Kafka Spark使用者代码取自Apache Storm项目（ ）的Kafka喷口，该喷嘴最初是由wurstmeister（ ）。 原始的Storm Kafka Spout代码已被修改以与Spark Streaming一起使用。 该实用程序将帮助使用Spark Streaming从Kafka提取消息，并更好地处理Kafka偏移并处理故障。 该使用者已经实现了一个自定义可靠接收器，该接收器使用Kafka使用者API从Kafka中获取消息，并将每个接收到的块存储在Spark BlockManager中。 该逻辑将自动检测主题的分区数，并根据配置的接收器数量产生尽可能多的Kafka接收器。 每个接收器都可以从一个或多个Kafka分区中获取消息。 例如，如果Kafka有一个Topic的100个分区，而Spark Consume
【kafka】手动拉取消息
ooooooooooooooxiaosu的博客
09-22 914
【kafka】手动拉取消息
一文读懂kafka消息拉取机制｜线程拉取模型
最新发布
weixin_42179304的博客
03-31 394
又是一年求职季，在这里，我为各位准备了一套Java程序员精选高频面试笔试真题，来帮助大家攻下BAT的offer，题目范围从初级的Java基础到高级的分布式架构等等一系列的面试题和答案，用于给大家作为参考以下是部分内容截图《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！试题和答案，用于给大家作为参考以下是部分内容截图[外链图片转存中…(img-onpAMIUb-1711868214199)]
kafka-manager-1.3.3.22.zip
01-24
已编译 Kafka-Manager-1.3.3.22 linux下直接解压解压kafka-manager-1.3.3.22.zip到/opt/module目录 [root@hadoop102 module]$ unzip kafka-manager-1.3.3.22.zip 4）进入到/opt/module/kafka-manager-1.3.3.22/conf目录，在application.conf文件中修改kafka-manager.zkhosts [root@hadoop102 conf]$ vim application.conf 修改zookeeper地址为： kafka-manager.zkhosts="hadoop102:2181,hadoop103:2181,hadoop104:2181" 5）启动KafkaManager [root@hadoop102 kafka-manager-1.3.3.22]$ nohup bin/kafka-manager -Dhttp.port=7456 >/opt/module/kafka-manager-1.3.3.22/start.log 2>&1 & 6）在浏览器中打开 备注:指定端口号看启动过程中 "-Dhttp.port=7456" 端口可以自己设置 http://hadoop102:7456
kafka-schema-registry-client-6.2.2.jar
04-25
maven 仓库找不到,下载好了,分享出来 报错内容如下 Could not resolve dependencies for project org.apache.flink:flink-avro-confluent-registry:jar:1.15.3: Could not find artifact io.confluent:kafka-schema-registry-client:jar:6.2.2 in maven 安装本地maven mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages.confluent.io/maven/io/confluent/kafka-schema-registry-client
kafka-console-consumer:Kafka控制台使用者-从时间戳读取事件
03-30
Kafka游戏机消费者 控制台应用程序，用于从给定的时间戳读取事件。 要求 Java> = 8 建造 ./mvn install 用法示例 配置 您需要在与工具配置相同目录中的application.properties文件中进行特定设置，才能与kafka连接。 SASL_PLAINTEXT的示例配置： spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.properties.security.protocol=SASL_PLAINTEXT spring.kafka.properties.sasl.mechanism=PLAIN spring.kafka.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule
Kafka Stream 数据清洗
qq_43193797的博客
01-25 2037
1 概述 编写关键任务实时应用程序和微服务的最简单方法，具有 Kafka 服务器端集群技术的所有优势。 Kafka Streams 是 Apache Kafka 开源项目的一个组成部分。 是一个功能强大，易于使用的库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。 1.1 Kafka Stream 特点 功能强大 高扩展性，弹性，容错 轻量级 无需专...
Kafka原理之消费者
tzc_xyh的博客
05-14 3072
主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大，消费者组下所有的消费者提交offset的时候，就往这个分区去提交offset。这个只是针对一个topic而言，C0消费者多消费一个分区影响不是很大，但是如果这个消费者组消费多个topic，容易产生数据倾斜。如果没有初始偏移量(消费者第一次消费)或者服务器上不存在当前偏移量(被删除)，如何指定offset进行消费。使用消费者事务，进行精准一次消费，将消费过程和提交offset过程做原子操作绑定。
kafka
小贺同学
12-07 2193
kafka 定义 1.1 kafka 是分布式的基于发布/订阅模式的消息中间件，主要应用在大数据领域。 kafka主要还是主动拉取数据 1.2 消息队列的两种模式 1）点对点（ 一对一 消费者主动拉取数据 消息收到后消息清除 ） 消息生产者发送消息到队列 ，消费者从队列中获取消息。 消息被消费后 队列中不在有存储 所以消息消费者不可能消费到已经被消费的消息 2）发布/订阅模式 (一对多 消费者消费数据后不会清除数据 支持主动拉取数据和推送 两种消费方式 ) ​ 消息生产者将消息发送到topic中，同时
kafka定时任务拉取数据
LMC技术人生专栏
12-04 7118
1 定时任务两种， 2 消费分组消费从哪里开始，不消费历史数据 定时主要是为了延迟拉消费，最简单方式 直接批量拉取之后， ack批量提交后， 线程挂起3秒，更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ack.acknowledge(); ...
kafka消费者：从kafka读取数据（性能提升、JAVA示例）
墨痕诉清风的博客
01-16 7048
以第三章中的序列化器示例，如下写一个反序列化器。try {Customer@Override消费者端也需要实现Customer类，类和序列化器都需要在生产者和消费者的应用程序上匹配。在又许多消费者和生产者共享数据访问权限的大型组织中，这可能会非常有挑战性。反序列化器只是颠倒了了序列化器的逻辑，从字节数字中将Customer对象的ID和名称获取出来，重新构造一个对象。
pentaho-kafka-consumer.zip
03-16
kettle kafka 消费者插件，在plugins 下新建steps文件夹，把zip文件解压放到里面。
kafka-manager-1.3.3.7.zip
12-05
说明：kafka-manager 自己下载编译速度巨慢，此资源是编译好的 kafka-manager，版本是：kafka-manager-1.3.3.7（适用于较新的版本，kafka版本是kafka_2.11-2.0.1）。 安装配置说明： 1. 里头有个自己写的启动脚本，...
kafka-eagle-bin-2.1.0.tar.gz
07-05
kafka-eagle-bin-2.1.0.tar.gz 2022年7月份下载，最新版
kafka-schema-registry-client-3.2.0.jar
12-11
kafka-schema-registry-client-3.2.0.jar包，亲测可用，在aliyun仓库内找不到，可以下载此jar包来进行手动安装
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
5、kafka监控工具Kafka-Eagle介绍及使用 网址：https://blog.csdn.net/chenwewi520feng/article/details/130581571 本文主要介绍了kafka监控工具Kafka-Eagle的使用。 本文依赖：kafka、zookeeper部署完成。 本分分为...
Kafka 消费者读取数据
程序猿进阶
04-23 4472
消费者不需要自行管理 offset（分组+topic+分区），系统通过 broker 将 offset 存放在本地。低版本通过 zk 自行管理。系统自行管理分区和副本情况。消费者断线后会自动根据上一次记录的 offset 去获取数据（默认一分钟更新一次 offset），同一个分组中的客户不能同时消费同一个分片。不同的 group 记录不同的 offset，这样不同程序读取同一个 topic 才不会因为 offset 互相影响。 一、消费者组 分区的所有权从一个消费者转移到另一个消费者，这样的行为称为
Kafka元数据拉取流程
墨玉浮白的博客
11-28 1378
Kafka元数据拉取流程
Kafka知识总结之消费者简单使用
学习和工作总结，共勉！
03-25 4807
本文主要是讲kafka消费者的使用，介绍了指定offset消费，多线程消费模式，消费者重要配置想和springboot整合。
kafka-java统计kafka消息转发量
11-12
KafkaConsumer, String> consumer = new KafkaConsumer(props); consumer.subscribe(Collections.singletonList(TOPIC_NAME)); int forwardCount = 0; while (true) { ConsumerRecords, String> records = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值