kafka源码解析之十OffsetManager

最新推荐文章于 2024-08-25 15:46:27 发布

亮亮-AC米兰

最新推荐文章于 2024-08-25 15:46:27 发布

阅读量4.8k

点赞数 1

分类专栏： kafka kafka源码解析文章标签： kafka

本文链接：https://blog.csdn.net/wl044090432/article/details/51038600

版权

OffsetManager是Kafka中管理消费者offset的关键组件，它负责offset的存储和检索。根据配置，offset可以存储在Zookeeper或Kafka内部。默认使用Zookeeper，但当offsets.storage设置为kafka时，offset会被写入到'__consumer_offsets'主题的log中，以此实现offset的持久化。

摘要由CSDN通过智能技术生成

OffsetManager主要提供对offset的保存和读取，kafka管理topic的偏移量有2种方式：1）zookeeper，即把偏移量提交至zk上；2）kafka，即把偏移量提交至kafka内部，主要由offsets.storage参数决定，默认为zookeeper。也就是说如果配置offsets.storage= kafka，则kafka会把这种offsetcommit请求转变为一种Producer，保存至topic为“__consumer_offsets”的log里面。

查看OffsetManager类：

class OffsetManager(val config: OffsetManagerConfig,
                    replicaManager: ReplicaManager,
                    zkClient: ZkClient,
                    scheduler: Scheduler) extends Logging with KafkaMetricsGroup {

  /* offsets and metadata cache */
//通过offsetsCache提供对GroupTopicPartition的查询
  private val offsetsCache = new Pool[GroupTopicPartition, OffsetAndMetadata]
  //把过时的偏移量刷入磁盘，因为这些偏移量长时间没有被更新，意味着消费者可能不再消费了，也就不需要了，因此刷入到磁盘
  scheduler.schedule(name = "offsets-cache-compactor"