kafka的Java客户端-消费者

最新推荐文章于 2024-09-22 13:56:53 发布
最新推荐文章于 2024-09-22 13:56:53 发布
阅读量5.7k 收藏 5
点赞数
分类专栏： kafka 文章标签： kafka java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43296313/article/details/125525541
版权

文章目录

kafka的Java客户端-消费者

一、kafka消费方式

  • pull（拉）模式：consumer采用从broker中主动拉取数据。Kafka 采用这种方式
  • push（推）模式：Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率

二、消费者原理

Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同

  • 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费
  • 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者

在这里插入图片描述

在这里插入图片描述

消费者组消费流程

在这里插入图片描述

三、消费者重要参数

参数名称描述
bootstrap.servers向 Kafka集群建立初始连接用到的 host/port列表
key.deserializer 和value.deserializer指定接收消息的 key 和 value 的反序列化类型。一定要写全类名
group.id标记消费者所属的消费者组
enable.auto.commit默认值为 true，消费者会自动周期性地向服务器提交偏移量
auto.commit.interval.ms如果设置了 enable.auto.commit 的值为 true， 则该值定义了消费者偏移量向 Kafka提交的频率，默认 5s
auto.offset.reset当 Kafka 中没有初始偏移量或当前偏移量在服务器中不存在（如，数据被删除了），该如何处理？ earliest：自动重置偏移量到最早的偏移量。 latest：默认，自动重置偏移量为最新的偏移量。 none：如果消费组原来的（previous）偏移量不存在，则向消费者抛异常。 anything：向消费者抛异常
offsets.topic.num.partitions__consumer_offsets 的分区数，默认是 50 个分区
heartbeat.interval.msKafka 消费者和 coordinator 之间的心跳时间，默认 3s。该条目的值必须小于 session.timeout.ms ，也不应该高于session.timeout.ms 的 1/3
session.timeout.msKafka 消费者和 coordinator 之间连接超时时间，默认 45s。超过该值，该消费者被移除，消费者组执行再平衡
max.poll.interval.ms消费者处理消息的最大时长，默认是 5 分钟。超过该值，该消费者被移除，消费者组执行再平衡
fetch.min.bytes默认 1 个字节。消费者获取服务器端一批消息最小的字节数
fetch.max.wait.ms默认 500ms。如果没有从服务器端获取到一批数据的最小字节数。该时间到，仍然会返回数据
fetch.max.bytes默认 Default: 52428800（50 m）。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值（50m）仍然可以拉取回来这批数据，因此，这不是一个绝对最大值。一批次的大小受 message.max.bytes （brokerconfig）or max.message.bytes （topic config）影响
max.poll.records一次 poll拉取数据返回消息的最大条数，默认是 500 条

四、消费者API

独立消费者案例-订阅主题

在这里插入图片描述

public class CustomConsumer {

    public static void main(String[] args) {

        // 1.创建消费者的配置对象
        Properties properties = new Properties();

        // 2.给消费者配置对象添加参数
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094");
        //显示设置偏移量自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,true);
        //设置偏移量提交时间间隔
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,1000);
        // 3.配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // 4.配置消费者组（组名任意起名） 必须
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");

//        // 设置分区分配策略
//        properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.StickyAssignor");

        // 创建消费者对象
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);

        // 注册要消费的主题（可以消费多个主题）
        kafkaConsumer.subscribe(Collections.singletonList("first"));

        // 拉取数据打印
        while (true) {
            // 设置 1s 中消费一批数据
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(1));
            // 打印消费到的数据
            for (ConsumerRecord<String, String> record : consumerRecords) {
                System.out.printf("收到消息：partition = %d,offset = %d, key =%s, value = %s%n", record.partition(),record.offset(), record.key(), record.value());
            }
        }

    }
}

在这里插入图片描述

在这里插入图片描述

独立消费者案例-订阅分区

在这里插入图片描述

public class CustomConsumerPartition {

    public static void main(String[] args) {
        // 1.创建消费者的配置对象
        Properties properties = new Properties();

        // 2.给消费者配置对象添加参数
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094");
        //显示设置偏移量自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,true);
        //设置偏移量提交时间间隔
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,1000);
        // 3.配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // 4.配置消费者组（组名任意起名） 必须
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");

        // 创建消费者对象
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);

        // 订阅主题对应的分区
        ArrayList<TopicPartition> topicPartitions = new ArrayList<>();
        topicPartitions.add(new TopicPartition("first",0));
        kafkaConsumer.assign(topicPartitions);

        // 拉取数据打印
        while (true) {
            // 设置 1s 中消费一批数据
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(1));
            // 打印消费到的数据
            for (ConsumerRecord<String, String> record : consumerRecords) {
                System.out.printf("收到消息：partition = %d,offset = %d, key =%s, value = %s%n", record.partition(),record.offset(), record.key(), record.value());
            }
        }

    }
}

在这里插入图片描述

消费者组案例

在这里插入图片描述

复制一份CustomConsumer的代码，取名为CustomConsumer1，同时运行这俩个代码

public class CustomConsumer {

    public static void main(String[] args) {

        // 1.创建消费者的配置对象
        Properties properties = new Properties();

        // 2.给消费者配置对象添加参数
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094");
        //显示设置偏移量自动提交
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,true);
        //设置偏移量提交时间间隔
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,1000);
        // 3.配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // 4.配置消费者组（组名任意起名） 必须
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");

//        // 设置分区分配策略
//        properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.StickyAssignor");

        // 创建消费者对象
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);

        // 注册要消费的主题（可以消费多个主题）
        kafkaConsumer.subscribe(Collections.singletonList("first"));

        // 拉取数据打印
        while (true) {
            // 设置 1s 中消费一批数据
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(1));
            // 打印消费到的数据
            for (ConsumerRecord<String, String> record : consumerRecords) {
                System.out.printf("收到消息：partition = %d,offset = %d, key =%s, value = %s%n", record.partition(),record.offset(), record.key(), record.value());
            }
        }

    }
}

然后启动生产者代码

public class MyProducer2 {
    public static void main(String[] args){

        //1.创建kafka生产者配置对象
        Properties props = new Properties();
        //2.给 kafka 配置对象添加配置信息：bootstrap.servers
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094");
        //key,value 序列化（必须）
        //把发送的key从字符串序列化为字节数组
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        //把发送消息value从字符串序列化为字节数组
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 3. 创建 kafka 生产者对象
        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 5; i++) {
            Order order = new Order((long) i, 100);
            ProducerRecord<String, String> producerRecord = new ProducerRecord<>("first", order.getId().toString(), JSON.toJSONString(order));
            //4. 调用 send 方法,发送消息
            producer.send(producerRecord, (metadata, exception) -> {
                if (exception != null) {
                    System.err.println("发送消息失败：" + Arrays.toString(exception.getStackTrace()));
                }
                if (metadata != null) {
                    System.out.println("异步方式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset());
                }
            });
        }
        producer.close();
    }
}

在这里插入图片描述

重新发送到一个全新的主题中，由于默认创建的主题分区数为 1，可以看到只能有一个消费者消费到数据

yololee_
关注
专栏目录
kafka consumer java_Kafka从上手到实践-实践真知：Kafka Java Consumer
weixin_30046591的博客
02-12 713
这一节来看看如何使用Java编写Kafka Consumer。Java Consumer首先创建Consumer需要的配置信息，最基本的有五个信息：Kafka集群的地址。发送的Message中Key的序列化方式。发送的Message中Value的序列化方式。指定Consumer Group。指定拉取Message范围的策略。Properties properties = new Propertie...
【项目实战】Java 开发 Kafka 消费者
激流丶的博客
07-14 7160
🔔 Kafka 消费者是使用 Apache Kafka 消息队列系统的应用程序，它们用于从 Kafka 主题（topics）中读取消息。消费者订阅一个或多个主题，并从这些主题中拉取消息以进行处理。消费者可以以不同的方式配置，例如，可以指定消息的偏移量（offset）以从特定位置开始消费消息，还可以指定消费者组（consumer group）以实现消息的分组消费。消费者是 Kafka 中的重要组成部分，用于实现可靠的消息传递和数据处理。
Kafka学习 — 3 kafka消费者客户端
最新发布
2401_87361386的博客
09-22 795
消费者分组仍需要提交offset，只是现在分区的设置只能通过调用assign修改，因为手动分配分区后不会进行分组协调，因此消费者故障不会引发分区重新平衡。“已提交”的位置是消费者已（处理的）安全保存的最后偏移量，如果进程失败或重新启动时，消费者将恢复到这个偏移量。在一些情况下，消费者需要首先消费一些指定的分区，当指定的分区有少量或者已经没有可消费的数据时，则开始消费其他分区。：增大poll的间隔，可以为消费者提供更多的时间去处理返回的消息（调用poll(long)返回的消息，通常返回的消息都是一批）。
Java实现Kafka消费者(Consumer)两种方式
道祖转生之重修Java
06-05 3858
实现在Spring Boot项目中监听Kafka指定topic中的消息，有两种实现思路：一种是使用Spring Boot提供的注解另外一种是在提供的原生java客户端中，消费者使用定时任务或者采进行消息拉取，这种方式可以避免与parent 版本出现冲突。
（转）Kafka 消费者 Java 实现
PacosonSWJTU的博客
11-09 7442
转自： Kafka 消费者 Java 实现 - 简书应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（consumer group...https://www.jianshu.com/p/1f9e18e926f6据原文作者，以下内容总结自 《kafka权威指南》； 应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（
【软件工具】在Java语言中如何使用 Kafka 消费者（KafkaConsumer）来消费消息及如何用idea实现
weixin_46453070的博客
06-26 2528
在 IntelliJ IDEA 中实现 Java 语言的 Kafka 消费者（KafkaConsumer）非常简单，下面我将详细介绍如何配置和实现一个基本的 Kafka 消费者应用程序。通过以上步骤，你可以在 IntelliJ IDEA 中快速创建和运行 Kafka 消费者应用程序，并进行必要的配置和开发。通过以上步骤，你可以编写一个基本的 Kafka 消费者应用程序，用于消费和处理 Kafka 集群中的消息。KafkaConsumer 需要配置 Kafka 的连接信息和消费者的属性。
kafka-java-demo 基于java的kafka生产消费者示例
11-24
除了基本的生产和消费功能，Kafka还支持一些高级特性，如幂等性生产者、事务性消费者、连接器（Connectors）以及Kafka Streams，这些都可能在"Kafka-java-demo"中有所体现，帮助你更好地理解和应用Kafka。...
Confluent的Apache Kafka Python客户端-python
06-18
= v0.8、Confluent Cloud 和 Confluent 平台兼容的高级生产者、消费者和 AdminClient。 客户端是： 可靠的 - 它是 librdkafka 的包装器（通过二进制轮自动提供），广泛部署在各种生产场景中。 它使用与 Java ...
kafka_2.12-3.3.1.tgz
10-04
- `clients`目录：包含Kafka的Java客户端库，供开发者在应用程序中使用。 在部署和使用Kafka时，你需要根据实际需求修改配置文件，如设置broker的端口、Zookeeper连接地址、数据存储路径等。然后，可以通过启动脚本...
kafkapython教程-Kafka快速入门（十二）-Python客户端.pdf
06-11
这些API为开发者提供了在Python中操作Kafka的便捷接口，允许他们实现生产者和消费者的逻辑，包括消息的发布、订阅、提交位移以及查询offset等功能。通过熟练掌握这些API，开发人员可以在Python环境中高效地利用Kafka...
kafka-2.13-3.5.1.tgz
07-25
- 编写生产者和消费者程序，利用Kafka提供的Java、Python等语言的客户端库进行数据交互。 5. **Kafka的应用场景** - **日志收集**：Kafka常用于收集各种系统的日志数据，提供统一的数据入口。 - **流处理**：...
Kafka中生产者和消费者java实现
07-25
使用idea工具，使用mven编译工具，kafka的生产者和消费者的java版本的实现。
kafka的Java客户端消费者
weixin_45809829的博客
06-29 1069
kafka的Java客户端消费者
kafka consumer java_Kafka使用Java进行Producer和Consumer编程
weixin_29123181的博客
02-12 920
依然是基于《kafka在windows上的安装、运行》一文搭建的环境进行Java的调用开发。实例一：生产者代码ProducerDemo.java：packagecom.bijian.study;importjava.util.Properties;importorg.apache.kafka.clients.producer.Callback;importorg.apache.kafka.clie...
KAFKA java 消费者
Geek_SQ
03-29 948
package com.yn.kafkatoredis.demo; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaCon...
KafkaConsumer-kafka消费者的Java客户端
热门推荐
cjf_wei的博客
09-24 1万+
本文介绍KafkaConsumer，一个从kafka集群消费记录的java客户端。该客户端是非线程安全的，关于多线程的使用，参见文章的“Multi-threaded Processing”部分。
深入浅出理解kafka原理系列之：java实现kafka消费者
zhengzaifeidelushang的博客
12-16 746
深入理解kafka原理：java实现kafka消费者一、pom.xml引入kafka依赖二、kafka消费者程序三、kafka生产者程序四、先运行kafka生产者程序，再查看kafka消费者程序 一、pom.xml引入kafka依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <versio
Java实现kafka消费者
m0_50008952的博客
11-30 3392
消费者基本配置及代码： #spring.kafka.client-id= spring.kafka.bootstrap-servers=localhost:9092 ###########【消费者基本配置】########### #spring.kafka.consumer.client-id= spring.kafka.consumer.properties.group.id=test01 spring.kafka.consumer.enable-auto-commit=true spring.ka.
kafka consumer java_Java实现Kafka Consumerr方法
weixin_32270483的博客
02-12 398
import org.apache.kafka.clients.consumer.CommitFailedException;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka....
kafka java客户端无法消费消息
05-28
如果 Kafka Java 客户端无法消费消息，你可以按照以下步骤逐一排查问题： 1. 检查 Kafka 服务器是否正常：请确保 Kafka 服务器正在运行，并且你的消费者能够连接到 Kafka 服务器。你可以尝试使用命令行工具 `kafka-console-consumer` 来消费消息，以确认 Kafka 服务器是否能够正常提供服务。如果命令行工具也无法消费消息，那么可能是 Kafka 服务器出现了问题。 2. 检查消费者配置是否正确：请检查消费者的配置是否正确，包括 Bootstrap Server 地址、消费者组 ID、序列化器和反序列化器等。你可以尝试输出消费者的配置信息，以便确认配置是否正确。 3. 检查消费者订阅的主题是否正确：请确保消费者订阅的主题名称和 Kafka Producer 发送消息时使用的主题名称一致。你可以尝试输出消费者订阅的主题列表，以便确认订阅是否正确。 4. 检查消费者是否能够消费到消息：请检查消费者是否能够消费到消息，并且消费者能够正确地处理消息。你可以尝试输出消费者消费的消息内容，以便确认消费是否正确。 如果你按照以上步骤排查问题仍然无法解决，你可以查看 Kafka 的日志，以便更好地理解问题所在。同时，你也可以参考 Kafka Java 客户端的官方文档，以便更好地理解 Kafka 客户端的使用方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值