Kafka API的运用（Consumer API）

最新推荐文章于 2024-01-22 21:52:45 发布
最新推荐文章于 2024-01-22 21:52:45 发布
阅读量164 收藏
点赞数 1
分类专栏： kafka 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48067943/article/details/108228622
版权

文章目录

四、Kafka API

2、 Consumer API

  • Consumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。
  • 由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。
  • 所以offset的维护是 Consumer 消费数据是必须考虑的问题。
2.1 自动提交offset

1）编写代码

  • 需要用到的类：
    • KafkaConsumer：需要创建一个消费者对象，用来消费数据
    • ConsumerConfig：获取所需的一系列配置参数
    • ConsuemrRecord：每条数据都要封装成一个 ConsumerRecord 对象
  • 为了使我们能够专注于自己的业务逻辑，Kafka 提供了自动提交offset的功能。
  • 自动提交 offset 的相关参数：
    • enable.auto.commit：是否开启自动提交offset功能
    • auto.commit.interval.ms：自动提交offset的时间间隔

2）消费者自动提交offset

  • 编写 MyConsumer
public class MyConsumer {
    public static void main(String[] args) {
        //todo 创建一个配置对象
        Properties props = new Properties();
        //1.去配置集群
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop105:9092");
        //2.指定消费者的组
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "bajie");
        //3.指定自动提交偏移量
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        //4.每次自动提交偏移量的间隔时间
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        //5.设定key和value的反序列化
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        //todo 创建一个消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //对于消费者需要订阅主题
        ArrayList<String> topics = new ArrayList<>();
        //topics.add("wukong");
        topics.add("bajie");
        consumer.subscribe(topics);
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("topic:"+record.topic()+
                        "--partition:"+record.partition()+
                        "--offset:"+record.offset()+
                        "--key:"+record.key()+
                        "--value:"+record.value());
            }
        }
    }
}

启动消费者，再启动生产者

生产者：
topic:bajie--partition:0--offset:44
topic:bajie--partition:0--offset:45
topic:bajie--partition:0--offset:46
topic:bajie--partition:0--offset:47
topic:bajie--partition:0--offset:48
topic:bajie--partition:0--offset:49
topic:bajie--partition:0--offset:50
topic:bajie--partition:0--offset:51
topic:bajie--partition:0--offset:52
topic:bajie--partition:0--offset:53

消费者：
topic:bajie--partition:0--offset:44--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---0
topic:bajie--partition:0--offset:45--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---1
topic:bajie--partition:0--offset:46--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---2
topic:bajie--partition:0--offset:47--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---3
topic:bajie--partition:0--offset:48--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---4
topic:bajie--partition:0--offset:49--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---5
topic:bajie--partition:0--offset:50--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---6
topic:bajie--partition:0--offset:51--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---7
topic:bajie--partition:0--offset:52--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---8
topic:bajie--partition:0--offset:53--key:null--value:er shi xiong shi fu bei yao guai zhua zou le---9

注意：关闭消费者后，生产生产数据后，再启动消费者，消费者可以消费到数据（偏移量）启动消费者后先会看看是否有偏移量存在，有就可以消费

2.2 重置Offset
  • 使用重置offset的前提：
    • 当Kafka中没有初始偏移量或者服务器上的当前偏移量不再存在
auto.offset.rest = earliest | latest | none |

在这里插入图片描述

编写ResetOffsetConsumer

public class ResetOffsetConsumer {
    public static void main(String[] args) {
        //todo 创建一个配置对象
        Properties props = new Properties();
        //1.去配置集群
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop105:9092");
        //2.指定消费者的组
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test02");
        /**
         * auto.offset.reset: What to do when there is no initial offset in
         * Kafka or if the current offset does not exist any more on the server
         * (e.g. because that data has been deleted):
         * earliest: automatically reset the offset to the earliest offset
         * latest: automatically reset the offset to the latest offset
         * 当你想要重头开始消费 你需要满足3个条件
         * 1.你当前的消费者的消费者组从来没有消费过订阅的主题
         * 2.你当前的消费者的消费者组的offset已经找不到(过期了超过7天对应数据被删除了)
         * 3.你需要将AUTO_OFFSET_RESET_CONFIG置位earliest
         */
        //3.重置offset
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        //4.指定自动提交偏移量
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        //5.每次自动提交偏移量的间隔时间
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        //6.设定key和value的反序列化
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        //todo 创建一个消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //对于消费者需要订阅主题
        ArrayList<String> topics = new ArrayList<>();
        topics.add("bajie");
        topics.add("wukong");
        consumer.subscribe(topics);
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("topic:"+record.topic()+
                        "--partition:"+record.partition()+
                        "--offset:"+record.offset()+
                        "--key:"+record.key()+
                        "--value:"+record.value());
            }
        }
    }
}
  • 执行结果和–from-beginning 一样，能消费到之前所有的数据
2.3手动提交 offset
  • 虽然自动提交offset十分简介便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此 Kafka还提供了手动提交offset的API。
  • 手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两者的相同点是，都会将本次poll的一批数据最高的偏移量提交；不同点是，commitSync 阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而 commitAsync则没有失败重试机制，故有可能提交失败。

1）同步提交 offset

  • 由于同步提交 offset 有失败重试机制，故更加可靠，以下为同步提交offset的示例。
public class CustomComsumer {

    public static void main(String[] args) {

        Properties props = new Properties();

		//Kafka集群
        props.put("bootstrap.servers", "hadoop105:9092"); 

		//消费者组，只要group.id相同，就属于同一个消费者组
        props.put("group.id", "test"); 

        props.put("enable.auto.commit", "false");//关闭自动提交offset

        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        consumer.subscribe(Arrays.asList("bajie"));//消费者订阅主题

        while (true) {

			//消费者拉取数据
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println(record.topic()+" -- "+
                                   record.partition()+" -- "+
                                   record.offset()+" -- "+
                                   record.key()+" -- "+
                                   record.value());
            }
			//同步提交，当前线程会阻塞直到offset提交成功
            consumer.commitSync();
        }
    }
}

2）异步提交offset

  • 虽然同步提交offset更可靠一些，但是由于其会阻塞当前线程，直到提交成功。因此吞吐量会收到很大的影响。因此更多的情况下，会选用异步提交offset的方式。

以下为异步提交offset的示例：

public class CustomConsumer {

    public static void main(String[] args) {

        Properties props = new Properties();

        //Kafka集群
        props.put("bootstrap.servers", "hadoop105:9092"); 

        //消费者组，只要group.id相同，就属于同一个消费者组
        props.put("group.id", "test"); 

        //关闭自动提交offset
        props.put("enable.auto.commit", "false");

        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("bajie"));//消费者订阅主题

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
            for (ConsumerRecord<String, String> record : records) {
                      System.out.println(record.topic()+" -- "+
                                   record.partition()+" -- "+
                                   record.offset()+" -- "+
                                   record.key()+" -- "+
                                   record.value());          
                          }  

//异步提交
            consumer.commitAsync(new OffsetCommitCallback() {
                @Override
                public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
                    if (exception != null) {
                        System.err.println("Commit failed for" + offsets);
                    }
                }
            }); 
        }
    }
}

3） 数据漏消费和重复消费分析

  • 无论是同步提交还是异步提交offset，都有可能会造成数据的漏消费或者重复消费。先提交offset后消费，有可能造成数据的漏消费；而先消费后提交offset，有可能会造成数据的重复消费。

注意：消费者偏移量存储是记录下一次从哪消费，大小是当前消费数加1

TANCHISE
关注
专栏目录
kafka——Consumer API
m0_50140502的博客
11-30 362
一、Kafka 核心 API 下图是官方文档中的一个图，形象的描述了能与 Kafka集成的客户端类型 Kafka的五类客户端API类型如下： AdminClient API：允许管理和检测Topic、broker以及其他Kafka实例，与Kafka自带的脚本命令作用类似。 Producer API：发布消息到1个或多个Topic，也就是生产者或者说发布方需要用到的API。 Consumer API：订阅1个或多个Topic，并处理产生的消息，也就是消费者或者说订阅方需要用到的API。 Stream API：
Kafka之Consumer API详解
zp17834994071的博客
08-21 2391
Kafka中如何创建消费者Consumer已经在前面给大家详细的讲解过，那么如何使用JAVA来消费topic中的数据呢呢，今天就说说。 还是先创建一个topic，拥有一个副本和一个分区 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 示例： 自动提交offset public class MyProducer { public static void
Kafka Consumer API 的使用
u010463032的博客
01-05 1652
导读 Kafka具有两套消费者API：高级API、低级API。本文章将介绍两种API的区别以及使用时需要注意的地方。 低级API 1. 使用方法 find leader broker build request fetch data identify leader change 2. 为什么要find leader kafka在0.8版本后，引入replication机制。每个partitio
Kafka consumer API
qq_52563266的博客
04-08 2101
kafka消费者api
KafkaConsumer Api
lanicc's blog
04-14 1934
KafkaConsumer 消费者组和Topic订阅 Groups and Topic Subscriptions Kafka uses the concept of consumer groups to allow a pool of processes to divide the work of consuming and processing records. These processes can either be running on the same machine or they can
kafka学习五：kafka之Consumer API
szq18545570866qq的博客
07-14 223
目录 熟练掌握kafka之Consumer客户端 了解kafka Consumer客户端配置 掌握kafka Consumer高级特性 Consumer客户端 Consumer之API /** * 自动提交 */ public static void consumPractic(){ Properties props = new Properties(); props.setProperty("bootstrap.servers", "192.163.124.3:9092
kafka-pub-sub:带有Rest URL的Kafka Producer和Consumer API的Spring Boot应用程序
05-15
带有Rest URL的Kafka Producer和Consumer API的Spring Boot应用程序 生产者：将数据或消息发送到kafka服务器的应用程序 消息：一小段数据，即kafka的字节数组 使用者：数据的接收者，即从kafka服务器读取数据 Kafka...
Kafka入门-Consumer API 使用
zc0565的博客
10-27 884
消费者 API 允许应用程序从Kafka集群中的主题读取数据流 注：使用的是新版本的 Java 语言编写的 API，不对 0.8.x 及以前版本进行讨论 maven 依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</ar...
Kafka_API_文档
04-04
### Kafka API 文档知识点解析 #### 一、Kafka简介与基本概念 **1.1 Kafka是什么** Kafka是一款开源的分布式消息系统，主要用于构建实时数据管道和流应用。其核心设计思想在于将消息视为一系列分布式日志，通过...
Kafka：Kafka API（官方CPAN模块）的Perl实现
02-05
**Kafka：Kafka API（官方CPAN模块）的Perl实现** Kafka是一个分布式流处理平台，由LinkedIn开发并开源，现在是Apache软件基金会的一部分。它最初设计为一个高吞吐量、低延迟的消息队列系统，用于处理实时数据管道...
kafka系列（六）—— Consumer API
大黄_sama
08-10 2588
Consumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。 由于 consumer 在消费过程中可能会出现断电宕机等故障， consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢复后继续消费。 所以 offset 的维护是 Consumer 消费数据是必须考虑的问题。 0.9.0.0版本之前是Scala语言写的，之后是java语写的 新版本使用的是org.apach
四十六、Kafka消费者（Consumer）API介绍
象在舞的技术专栏
03-08 5023
有生产者的API自然也就会有消费者的API，上篇文章我们通过几个简单的编码学习了Kafka生产者的API，本文我们来看一下消费者的API。Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。所以offset的维护是Consumer消费数据是必须考虑的问题。下
Kafka——消费者API详解
吴声子夜歌的博客
08-06 1304
}//不做任何配置 } @Override public Customer deserialize(String topic , byte [ ] data) {int id;try {//不需要关闭任何资源 } }
13、Kafka ------ kafka 消费者API用法（消费者消费消息代码演示）
最新发布
Java 领域技术分享
01-22 2017
Kafka ------ kafka 消费者API用法（消费者消费消息代码演示）
Kafka Consumer API样例
杜海的博客
10-26 116
Kafka Consumer API样例 1. 自动确认Offset 说明参照：http://blog.csdn.net/xianzhen376/article/details/51167333 Properties props = new Properties(); /* 定义kakfa 服务的地址，不需要将所有broker指定上 */ props.put("bootstrap.servers", "localhost:9092"); /* 制定consume.
kafka HighLevelConsumer API 使用案例
tianbianlan的专栏
06-03 2390
 直接贴代码： import kafka.consumer.ConsumerIterator; import kafka.consumer.KafkaStream; public class ConsumerTest implements Runnable { private KafkaStream m_stream; private int m_threadNumber
Kafka：指定时间消费
程序员无羡的博客
03-21 4961
Kafka：指定时间消费
Apache Kafka 入门 - Kafka API 简单用法
热门推荐
偶尔记一下 - mybatis.io
06-27 1万+
Apache Kafka 入门 Kafka的基本配置和运行 Kafka命令详细介绍 Kafka-manager的基本配置和运行 Kafka API 简单用法 Spring Boot 集成Kafka 本篇为第四篇。Kafka API 简单用法本篇会用到以下依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>ka
kafka consumer api连接kafka server
张兴锐的博客
07-06 1911
背景 kafka的主要功能 kafka核心API 基本术语 Topic Producer Consumer Broker 版本 依赖包 常用命令 参考文章 背景 最近在公司老大要做一个kafka consumer接收kafka server的message，其实很简单的一个功能，用kafka都有些大材小用了，一般的JMS都可以了。 之前没有用过k...
Kafka分区副本详解与API实践
高级API是面向消费者的库，如Java和Scala的`KafkaConsumer`类，它提供了一种简单的方式来消费数据，包括自动分区分配和故障恢复。例如，使用`subscribe()`方法可以订阅一个或多个主题，并且消费者组内的实例将自动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值