KAFKA源码阅读——FetchRequestPurgatory, ProducerRequestPurgatory

最新推荐文章于 2023-03-01 22:23:57 发布

luo_shui

最新推荐文章于 2023-03-01 22:23:57 发布

阅读量1k

点赞数

分类专栏： kafka java学习文章标签：源码 kafka

本文链接：https://blog.csdn.net/c395318621/article/details/53164073

版权

博客深入探讨了Kafka的RequestPurgatory机制，特别是FetchRequestPurgatory和ProducerRequestPurgatory的实现。RequestPurgatory作为请求管理的抽象类，用于处理未满足条件的请求，包括超时管理和条件检查。ProducerRequestPurgatory关注生产请求的满足条件，而FetchRequestPurgatory关注满足fetch请求的条件，如offset在log的最新segment上。超时请求会被相应地处理并返回响应。

摘要由CSDN通过智能技术生成

RequestPurgatory

purgatory,炼狱的意思。第一次看RequestPurgatory类的代码时，一头雾水，不明白是干什么的。要理解这个，需要先理解kafka处理FetchRequest和ProduceRequest的思路：
1. 请求到达，先判断该请求执行完成的条件是否满足（例如ProduceRequest，需要判断是否有足够多的Follower都已经同步了指定的offset），如果满足，则直接返回响应，否则请求就由Purgatory来处理了。
2. 对于进入到Purgatory中的请求，根据请求的key(TopicAndPartition)放入不同的Wather中。当相应的TopicAndPartition有可能影响hw或者leo的操作时，Watchers.collectSatisfiedRequests函数被调用，检查Purgatory中的每个请求所需的条件是否已经满足；
3. 除此之外，每个请求都有timeout，Purgatory会定时检查是否有请求超时，如果超时则从Purgatory中移除，并调用expire函数；
prugatory中的watchers
所以，RequestPurgatory可以理解为一个包含以TopicAndPartition为主键的Map，如果相应的TopicAndPartition有动作，则触发检查，同时，还有定时检查，清理超时项。

 /**
  * Watcher中的检查函数，一个TopicAndPartition对应一个Watcher，每个
  * Watcher包含一个requests队列。这个函数就是遍历requests队列，检查是否
  * 有request被satisfied
  * @return satisfied的请求列表
  */
 def collectSatisfiedRequests(): Seq[T] = {
      val response = ne