95-10-150-启动-FetchManager

九师兄

于 2021-08-03 21:07:24 发布

阅读量125

点赞数

分类专栏：大数据-kafka

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/119359125

版权

401 篇文章 635 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细介绍了Kafka中的FetchSession机制，包括其在增量拉取中的作用，状态维护以及启动和处理流程。通过源码解析，阐述了客户端和服务端如何进行全量和增量拉取，以及Epoch和SessionId的更新规则。

摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

为了减少客户端每次拉取都要拉取全部的分区，增加了增量拉取分区的概念。

拉取会话（Fetch Session），类似于web中的session是有状态的，客户端的fetch也可以认为是有状态的。
这里的状态指的是知道“要拉取哪些分区”，如果第一次拉取了分区1，如果后续分区1没有数据，就不需要拉取分区1了。

FetchSession的数据结构如下：

case class FetchSession(val id: Int,// session编号是随机32位数字，防止未授权的客户端伪造数据
                        val privileged: Boolean

了解本专栏

关注