一文读懂kafka消息拉取机制｜线程拉取模型

最新推荐文章于 2024-06-08 16:39:37 发布
最新推荐文章于 2024-06-08 16:39:37 发布
阅读量916 收藏 20
点赞数 25
分类专栏： 程序员 文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83330193/article/details/137389747
版权
本文深入探讨Kafka消费者的拉取机制，包括Fetcher的fetchedRecords方法，消费线程模型，以及poll方法的特点。重点讨论fetch.max.bytes，max.partition.fetch.bytes和max.poll.records参数，并指出KafkaConsumer的线程不安全性和并发拉取设计。总结了Kafka顺序消费的最佳实践，同时分享了一套全面的Java开发学习资源。
摘要由CSDN通过智能技术生成

  • 如果客户端与待拉取消息的broker节点有待发送的网络请求(见代码@4)，则本次拉取任务将不会再发起新的拉取请求，待已有的请求处理完毕后才会拉取新的消息。

  • 拉取消息时需要指定拉取消息偏移量，来自队列负载算法时指定，主要消费组的最新消费位点。

在这里插入图片描述

Step2:按Node依次构建请求节点，并通过client的send方法将请求异步发送，当收到请求结果后会调用对应的事件监听器，这里主要的是一次拉取最大的字节数50M。

值得注意的是在Kafka中调用client的send方法并不会真正触发网络请求，而是将请求放到发送缓冲区中，Client的poll方法才会真正触发底层网络请求。

Step3:当客户端收到服务端请求后会将原始结果放入到completedFetches中，等待客户端从中解析。

本篇文章暂时不关注服务端对fetch请求的处理，等到详细剖析了Kafka的存储相关细节后再回过来看Fetch请求的响应。

1.2 Fetcher的fetchedRecords方法详解

向服务端发送拉取请求异步返回后会将结果返回到一个completedFetches中，也可以理解为接收缓存区,接下来将从缓存区中将结果解析并返回给消费者消费。从接

最低0.47元/天 解锁文章
2401_83330193
关注
专栏目录
kafka java单线程，多线程，多线程管理器代码
08-25
包含两个Java工程文件，详细讲述了kafka单线程，多线程的，生产者，消费者，及多线程消费者的管理器。
Kafka的三种客户端线程模型和一个小惊喜
weixin_33785108的博客
01-03 541
Kafka 作为一个流式数据平台，对开发者提供了三种客户端：生产者 / 消费者、连接器、流处理。本文着重分析这三种客户端的线程模型。看到最后的通常都有惊喜。消费者的线程模型 0.8 版本以前的消费者客户端会创建一个基于 ZK 的消费者连接器，一个消费者客户端是一个 Java 进程，消费者可以订阅多个主题，每个主题也可以多个线程。为了让消息在多个节点被分布式地消费，提高消息处理的吞吐量，Kafka ...
【Kafka从入门到成神系列 八】Kafka 多线程消费者及TCP连接
爱敲代码的小黄
03-22 2550
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
kafka demo ，两种线程消费方式
09-20
kafka学习过程，maven工程，包含基础过程、提升过程。可供大家学习一下，里面有详细注释，一个groupid多个Consumer来消费消息和一个Consumer且有多个线程消费
Kafka详解（四）多线程消费者实践
傅红雪的专栏
01-14 3905
1. Kafka Java Consumer设计原理 Kafka Java Consumer采用的是双线程设计，即将用户主线程和心跳线程分开。 所谓用户主线程，就是你启动 Consumer 应用程序 main 方法的那个线程，而新引入的心跳线程（Heartbeat Thread）只负责定期给对应的 Broker 机器发送心跳请求，以标识消费者应用的存活性（liveness）。引入这个心跳线程还...
一文详细解析kafka重平衡机制
程序媛小琬的博客
08-13 2005
前言 1、队列重平衡概述 如果对RocketMQ或者对消息中间件有所了解的话，消费端在进行消息消费时至少需要先进行队列（分区）的负载，即一个消费组内的多个消费者如何对订阅的主题中的队列进行负载均衡,当消费者新增或减少、队列增加或减少时能否自动重平衡，做到应用无感知，直接决定了程序伸缩性，其说明图如下： 本节将聚集Kafka消费端的重平衡机制。 2、Kafka消费端基本流程 在介绍kafka消费端重平衡机制之前，我们首先简单来看看消费者拉取消息的流程，从整个流程来看重平衡的触发时机、在整个消费流程中所起的
一文读懂kafka消息丢失问题和解决方案
Java技术攻略的博客
03-22 571
今天分享一下kafka的消息丢失问题，kafka的消息丢失是一个很值得关注的问题，根据消息的重要性，消息丢失的严重性也会进行放大，如何从最大程度上保证消息不丢失，要从生产者，消费者，broker几个端来说。关于kafka的消息丢失问题和解决方案就说到这里，我们分别从生产者到broker，broker到磁盘以及消费者端进行说明，也引申出一些知识点，可能平时没有遇到消息丢失的情况，那是因为网络比较可靠，数据量可能不大，但是如果要真的实现高可用，高可靠，那么就需要对其进行设计。
一文搞懂Kafka：女朋友看了也懂的Kafka
清风的博客
06-09 2171
文章目录前言：为什么需要Kafka1.初识kafka1.1 消息队列的好处：1.2 **消息队列的两种模式**没有消息队列我们怎么做？传统MQ怎么做？这时候，Kafka就”闪亮登场“了2. Kafka基本架构2.1 **前备知识**：1.消息和批次2.消息模式2.2 架构分析2.3Kafka 特点1.多个生产者2.多个消费者3.基于磁盘的数据存储4.伸缩性5.高性能3 总结 前言：为什么需要Kafka 举个例子：麦当劳点餐时，当我们选择外带的时候，餐厅制作好餐之后会放在一个取餐台，而且取餐台是按照不同的取餐
一文搞懂Kafka核心基础知识
月伴飞鱼
11-25 1627
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 下面这篇文章会从以下方面会带大家介绍下这个强大的开源
从kafka拉取消息的内部过程
weixin_42594427的博客
02-12 128
Kafka 是一种分布式消息系统，它使用生产者将消息写入到一组特定的分区中，并使用消费者从分区中读取消息。在从 Kafka 拉取消息的内部过程中，消费者会与 Kafka 集群进行通信，以请求消息的分配和管理。 当消费者第一次请求消息时，它会与 Kafka 集群中的一个或多个副本节点进行通信，以确定其当前的消息分配。Kafka 使用一种称为消费组的概念，该概念允许多个消费者共同读取同一个分区的消息，...
曾经我以为我很懂Kafka，直到我看了这篇文章
weixin_45820912的博客
11-18 1059
为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到快递小哥的电话： 小哥：“你是xx吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。 我...
Kafka如何保证消息不丢失、Kafka消费数据模式、Kafka的数据存储形式
qq_40585384的博客
12-29 2025
生产者通过分区的leader写入数据后，所有在ISR中follower都会从leader中复制数据，这样，可以确保即使leader崩溃了，其他的follower的数据仍然是可用的。。
【kafka】浅谈Kafka的多线程消费的设计
九师兄
03-03 7795
1.概述 转载：浅谈Kafka的多线程消费的设计 看原文去。。。 一、前言 跟RabbitMQ相比，Kafka的分区机制（Partition）使其支持对同一个“队列”分片并行读取，这也是Kafka的吞吐量远高于RabbitMQ的原因之一。 注：当然，Kafka里并无严格的队列概念，此处只是为了便于类比，所以采用了“队列”的说法 但Kafka内部也存在一定约束：每个Consumer Group所订阅的Topic下的每个Partition只能分配给该Group下的一个Consumer线程(当然该Partitio
kafka消费者--消息拉取流程
atarik@163.com
03-13 5396
１、KafkaConsumer poll 详解 消息拉起主要入口为：KafkaConsumer#poll方法，其声明如下： public ConsumerRecords<K, V> poll(final Duration timeout) { // @1 return poll(time.timer(timeout), true); ...
Kafka源码分析（十五）——Broker：网络层——Processor线程
最新发布
smart_an的专栏
06-08 925
本章，我对Processor线程的整体架构以及它对读写请求的处理流程进行了详尽的分析，我们需要重要了解：KafkaChannel只能交替处理读写请求。下一章，我将对RequestChannel这个核心组件进行讲解。
kafka 消息过大
zhuchunyan_aijia的博客
11-22 6672
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept. 意思是生产者发送的消息过大，大于broker的配置 查看相关资料后，发现 Broker 端对 Producer 发送过来的消息也有一定的大小限制，这个参数叫 message.max.bytes，这个参数决定了 B..
kafka使用中的若干知识点
北方的大数据之路
08-26 817
消费者订阅topic的方式 KafkaConsumer.subscribe() consumer自动分配partition,内部算法保障topic-partition以最优的方式均匀分配给group下不同的consumer. consumer自动上下线/group的扩缩容可以自动通过reblance机制均衡消费。 offset的管理通过group management保证。 高级api offset支持自动/手动提交 在使用subscribe的时候，需要关注的点包括配置，自动/手动提交，rebalanc
kafka线程模型之三 QuotaManager
Rapper金馆长的博客
12-11 1625
kafka从0.9版本之后引入了配额机制,对于每个producer或者consumer,可以对他们produce或者consum的速度上限作出限制.这边找到一篇不错的文档,可以解释这一配额的设计理念与实现方式. kafka配额控制 这其实对应着kafka中的两个线程,限制producer的线程,以及限制consumer的线程. "ThrottledRequestReaper-Fetch"
consumeMessages()方法中如何从Kafka中拉取消息
06-09
在consumeMessages()方法中，你需要使用KafkaConsumer来拉取消息。你可以通过在Spring Boot的配置文件(application.properties或application.yml)中配置Kafka的相关属性，如Kafka的地址、端口、消费者组ID等。 下面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值