Kafka消费者

最新推荐文章于 2024-09-11 17:33:37 发布
最新推荐文章于 2024-09-11 17:33:37 发布
阅读量1.4k 收藏 1
点赞数 4
分类专栏： # Kafka 文章标签： kafka 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/122225836
版权

文章目录

Kafka消费者

1、消费方式

  • pull（拉）模式从broker中读取数据，可以根据consumer的消费能力以适当的速率消费消息。pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka的消费者在消费数据时会传入一个时长参数timeout，如果当前没有数据可供消费，consumer会等待一段时间之后再返回，这段时长即为timeout。
  • push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。

2、基础消费者

步骤：

  1. 创建消费者的配置对象

  2. 给消费者配置对象添加参数

    配置kafka的地址端口

    配置反序列化

    配置消费者组

  3. 注册主题并让消费者订阅主题集合

  4. 拉取数据打印

package com.hpu.kafka.consumer;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.ArrayList;
import java.util.Properties;

/**
 * @author zyn
 * @version 1.0
 * @date 2021/12/29 14:30
 */
public class MyConsumer {
    public static void main(String[] args) {
        //1.创建消费者的配置对象
        Properties properties = new Properties();
        //2.给消费者配置对象添加参数
        //配置kafka的地址端口
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        //配置反序列化
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        //配置消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "zyn");
		
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(properties);
        //3.注册主题
        ArrayList<String> topics = new ArrayList<>();
        topics.add("first");
        kafkaConsumer.subscribe(topics);
		//4.拉取数据打印
        while (true) {

            ConsumerRecords<String, String> poll = kafkaConsumer.poll(Duration.ofSeconds(100));
            for (ConsumerRecord<String, String> record : poll) {
                System.out.println(record);
            }
        }
    }
}

3、消费者组案例

复制两份基础消费者的代码，在idea中同时启动，即可启动同一个消费者组中的三个消费者。

启动一个生产者往topic中发送数据，可以看到发往不同的分区。一个分区只会对应一个消费者。

4、分区分配策略

多个分区如何分配给各个消费者？

Kafka有三种分配策略：

  • RoundRobin：轮循

    //消费者
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.RoundRobinAssignor");
//生产者
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"org.apache.kafka.clients.producer.RoundRobinPartitioner");

  • Range(默认)：范围划分

    //消费者
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.RangeAssignor");
//生产者
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"org.apache.kafka.clients.producer.internals.DefaultPartitioner");

  • Sticky：随机

    //消费者
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.StickyAssignor");
//生产者
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"org.apache.kafka.clients.producer.UniformStickyPartitioner");

当某个消费者挂掉时，前两种需要将全部分区重新进行轮循或者范围划分出分区与对应剩余消费者的对应关系。而Sticky保持原有正常消费者的分区不变的基础上，将挂掉broker的分区随机分配给其余正常的broker。效率更高。

5、offset的维护

consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。

解决方案：

Kafka 0.9版本之前，consumer默认将offset保存在Zookeeper中，从0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets。

消费offset案例

properties.put(ConsumerConfig.EXCLUDE_INTERNAL_TOPICS_CONFIG,“false”);

package com.hpu.kafka.offset;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.ArrayList;
import java.util.Properties;

/**
 * @author zyn
 * @version 1.0
 * @date 2021/12/29 20:25
 */
public class MyOffset {
    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.GROUP_ID_CONFIG,"offset");

        properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.RoundRobinAssignor");
        properties.put(ConsumerConfig.EXCLUDE_INTERNAL_TOPICS_CONFIG,"false");
        KafkaConsumer<Object, Object> kafkaConsumer = new KafkaConsumer<>(properties);
        ArrayList<String> topics = new ArrayList<>();
        topics.add("__consumer_offsets");
        kafkaConsumer.subscribe(topics);
        while (true){
            ConsumerRecords<Object, Object> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(1));
            for (ConsumerRecord<Object, Object> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord);
            }
        }
    }
}

#指定消费者组
kafka-consumer-groups.sh  --bootstrap-server hadoop102:9092 --group testTopic  --describe
#全部消费者组和全部主题
kafka-consumer-groups.sh --all-groups --all-topics --describe --bootstrap-server hadoop102:9092

6、自动提交offset

KafkaConsumer：需要创建一个消费者对象，用来消费数据

ConsumerConfig：获取所需的一系列配置参数

ConsuemrRecord：每条数据都要封装成一个ConsumerRecord对象

为了使我们能够专注于自己的业务逻辑，Kafka提供了自动提交offset的功能。

自动提交offset的相关参数：

enable.auto.commit：是否开启自动提交offset功能

auto.commit.interval.ms：自动提交offset的时间间隔

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
 * 1. 创建消费者配置类
 * 2. 添加配置
 * 3. 创建消费者对象
 * 4. 设置消费的主题
 * 5. 挂起消费数据
 */
public class CustomConsumer {
    public static void main(String[] args) {
        // 1. 创建kafka消费者配置类
        Properties properties = new Properties();
        // 2. 添加配置参数
        // 添加连接
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
       
        // 配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // 配置消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        // 是否自动提交offset
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        // 提交offset的时间周期
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        //3. 创建kafka消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);

        //4. 设置消费主题  形参是列表
        consumer.subscribe(Arrays.asList("first"));

        //5. 消费数据
        while (true){
            // 读取消息
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofSeconds(1));

            // 输出消息
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.value());
            }
        }
    }
}

7、重置offset

auto.offset.reset = earliest | latest | none |

（1）earliest：自动将偏移量重置为最早的偏移量

（2）latest(默认值)：自动将偏移量重置为最新偏移量

（3）none：如果未找到消费者组的先前偏移量，则向消费者抛出异常

8、手动提交offset

由于其是基于时间提交的，开发人员难以把握offset提交的时机。手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两者的相同点是，都会将本次poll的一批数据最高的偏移量提交；不同点是，commitSync阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而commitAsync则没有失败重试机制，故有可能提交失败。

同步提交

将自动提交关闭：

properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, “false”);

开启同步提交：

consumer.commitSync();

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
 * 1. 修改自动提交offset为手动
 * 2. 在业务代码完成之后手动同步提交offset
 */
public class CustomConsumerByHand {

    public static void main(String[] args) {
        // 1. 创建kafka消费者配置类
        Properties properties = new Properties();
        // 2. 添加配置参数
        // 添加连接
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");

        // 配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // 配置消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        // 是否自动提交offset
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        // 提交offset的时间周期
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        //3. 创建kafka消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);

        //4. 设置消费主题  形参是列表
        consumer.subscribe(Arrays.asList("first"));

        //5. 消费数据
        while (true){
            // 读取消息
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofSeconds(1));

            // 输出消息
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.value());
            } 
// 同步提交offset
            consumer.commitSync();
        }
    }
}

异步提交

同步提交offset更可靠一些，但是由于其会阻塞当前线程，直到提交成功。因此吞吐量会受到很大的影响。因此更多的情况下，会选用异步提交offset的方式。

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;

import java.util.Arrays;
import java.util.Map;
import java.util.Properties;

/**
 * 1. 修改自动提交offset为手动
 * 2. 在业务代码完成之后手动异步提交offset
 */
public class CustomConsumerByHand {

    public static void main(String[] args) {
        // 1. 创建kafka消费者配置类
        Properties properties = new Properties();
        // 2. 添加配置参数
        // 添加连接
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");

        // 配置序列化 必须
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // 配置消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        // 是否自动提交offset
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        // 提交offset的时间周期
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        //3. 创建kafka消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);

        //4. 设置消费主题  形参是列表
        consumer.subscribe(Arrays.asList("first"));

        //5. 消费数据
        while (true){
            // 读取消息
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofSeconds(1));

            // 输出消息
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {

                System.out.println(consumerRecord.value());

            }
            // 同步提交offset
            //consumer.commitSync();

            // 异步提交offset
            consumer.commitAsync(new OffsetCommitCallback() {
                /**
                 * 回调函数输出
                 * @param offsets   offset信息
                 * @param exception 异常
                 */
                @Override
                public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
                    // 如果出现异常打印
                    if (exception != null){
System.err.println("Commit failed for " + offsets);
                    }
else{
                        Set<TopicPartition> topicPartitions = offsets.keySet();//该方法可以得到我们消费的的消息 所处的topic partition 有哪些
                        for (TopicPartition topicPartition : topicPartitions) {//遍历我们消费的topic 以及parition 元数据
                            OffsetAndMetadata offsetAndMetadata = offsets.get(topicPartition);//每个topic 的每个parition 的消费到的offset
                            long offset = offsetAndMetadata.offset();//获取提交的offset值
                            int partition = topicPartition.partition();//获取该parttion的值
                            String topic = topicPartition.topic();//获取该toipic的值
                            System.out.printf("----提交的offset = %s, 该 partition = %s ,以及topic = %s---------\n",
                                    offset,partition,topic);
                        }
                    }
                }
            });
        }
    }
}

9、Consumer事务

无论是同步提交还是异步提交offset，都有可能会造成数据的漏消费或者重复消费。先提交offset后消费，有可能造成数据的漏消费；而先消费后提交offset，有可能会造成数据的重复消费。

如果想完成Consumer端的精准一次性消费，那么需要kafka消费端将消费过程和提交offset过程做原子绑定，要么都成功，要么都失败。此时我们需要将kafka的offset保存到支持事务的自定义介质（比如mysql）。

MelodyYN
关注
专栏目录
Kafka（五）消费者回调 +定时重试 + 理解Rebalance
特别享受思考问题的过程
11-25 2221
至此为止，利用Kafka实现一个消息系统就基本完成了，所有关键的代码都在不同的博文中并进行了详细说明，说过想要体会完整的设计、实现思路，请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。
Java实现Kafka消费者及消息异步回调方式
猫与少年
02-07 2458
Java实现Kafka消费者及消息异步回调方式
掌握Kafka事务，看这篇就够了
最新发布
JavaSouth南哥
09-11 1330
先赞后看，南哥助你Java进阶一大半Kafka事务实际上引入了原子多分区写入的概念，播客画了以下流程图，展示了事务在分区级别如何工作。我是南哥，一个Java学习与进阶的领路人，相信对你通关面试、拿下Offer进入心心念念的公司有所帮助。
kafka消费者
wangjie827的博客
04-12 1217
再平衡 定义：分区的所属权从一个消费者转移到另一个消费者的行为。 影响：发生期间消费组内的消费者是无法读到消息的。消费者当前的状态也会消失。会出现重复消费的问题。应尽力避免再平衡发生 再平衡监听器 ：用来设置再平衡发生之前和结尾的动作 ConsumerRebalanceListener 接口中有两个方法 （1）void onPartitionsRevoked(Collection＜TopicPartition＞partitions) 这个方法会在再平衡开始之前、消费者停止读取消息之后被调用
手写 kafka 异步回调
小王是个弟弟
04-17 2902
教你实现一个简单的 kafka 异步回调功能
kafka生产者(同步，异步，回调) 消费者（手动Offset，自动Offset）api演示
小哇
04-30 2689
maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency> Producer API 生产者消息发送流程 Kafka的Prod
springboot 基于spring-kafka动态创建kafka消费者
11-17
本文将详细探讨如何在Spring Boot项目中基于Spring Kafka动态创建Kafka消费者。 首先，了解Kafka基本概念：Kafka是一种分布式流处理平台，用于构建实时数据管道和流应用程序。它提供了高吞吐量、低延迟的消息传递，...
kafka-consumer:简单的 Scala Kafka 消费者
06-13
在本文中，我们将深入探讨如何使用 Scala 创建一个简单的 Kafka 消费者，以便与 Kafka 集群进行交互。Kafka 是一个分布式流处理平台，广泛用于实时数据处理和消息传递。而 Scala 是一种功能丰富的编程语言，它与 ...
Java实现Kafka生产者消费者代码实例
08-19
Kafka消费者的代码实现一般包括创建KafkaConsumer实例、订阅主题、轮询接收消息等步骤。根据代码片段，以下为消费者的关键知识点： 1. 创建KafkaConsumer实例前需要配置消费者属性，包括Kafka集群的地址（bootstrap...
kafka 消费者
wadfdhsajd的博客
06-22 875
kafka 使用消费者组来控制消费组消费，每个消费组都可以消费 topic 的全量信息，消费组内部的消费者再各自进行引流，消费不同的分区信息。消费者从属于消费组，一个组里的消费者订阅的是相同的主题，每个消费者接收主题一部分的分区的消息。如上图，主题 T1 只有一个消费者组订阅，并且消费者组只有一个消费者，那么这个消费者消费 T1 的所有分区消息。如上图，当一个消费者组里的消费者数量小于主题分区的数量，那么每个消费者都会负责消费多个分区的消息如图，当一个消费组里的消费者的数量与主题的分区数持平的时候，每个消费
spark+clickhouse+hive+kafka+vue+hbase大型分析系统
11-06
基于Flink+ClickHouse构建的分析平台，涉及 Flink1.9.0 、ClickHouse、Hadoop、Hbase、Kafka、Hive、Jmeter、Docker 、HDFS、MapReduce 、Zookeeper 等技术
Kafka消费者发送消息
weixin_58104242的博客
05-15 610
异步发送 Properties properties = new Properties(); // 连接集群 properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092"); // 手动指定序列化器 properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); pr
kafka如何将接收到消息并返回消息确定值
weixin_36873225的博客
09-26 521
【代码】kafka如何将接收到消息并返回消息确定值。
kafka发送与接收数据(含奇葩报错解决方案)
呆萌的代Ma
08-16 3616
首先说明一下,小白在学习这一块的时候,记得导入包的时候要看清包名,网上有一些博客没有具体导入的包名称,可能会导致在本机上导包后出现各种各样奇葩的强制类型转化. kafka的相关内容与概念在这里就不再赘述了,咱们直接通过一个小案例来感受一下kafka的魅力, 本篇博客分为四个部分: 配置情况;在搭建好的linux服务器上创建一个topic;作为producer(生产者),给kafka上
springboot集成整合kafka实现消息的发送与接收、同步发送和异步发送自定义kafkaTemplate、监控消息发送成功失败、消费指定的分区
FAIRYTAIL的博客
11-19 6249
写在前面：各位看到此博客的小伙伴，如有不对的地方请及时通过私信我或者评论此博客的方式指出，以免误人子弟。多谢！ 先大体说一下本篇要完成的事： 本地连阿里服务器上的kafka向指定topic发送消息 项目中创建一个监听类，接收发送的消息，同时在阿里服务器上创建一个消费者接收消息 使用kafkaTemplate提供的addCallback方法监控消息是否发送成功，并进行下一步处理 消费topic的指定分区数据 发送json数据 监听类使用ConsumerRecord接收消息 直在此之前，首先要安装
关于Kafka 的 consumer 消费者手动提交详解
weixin_34409822的博客
02-08 2249
前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之后就直接提交，这样很容易丢失数据，尤其是...
Kafka接入
weixin_43675226的博客
09-23 1074
Kafka接入
Kafka基本介绍和操作
weixin_43476824的博客
07-15 516
Kafka安装和基本介绍
kafka消费者重复消费
08-13
Kafka消费者可能会重复消费消息，这通常发生在以下几个情况： 1. **分区偏移量重置**：如果消费者的组在重启、网络故障或手动设置偏移量后，它的初始偏移量会从最早的未消费消息开始，这可能导致它重新读取之前已经...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值