librdkafka: 如何设置Kafka消费者订阅消息的起始偏移位置

Bob Liu

于 2019-02-28 19:33:14 发布

阅读量1.1w

点赞数 1

分类专栏：消息中间件文章标签： librdkafka 设置偏移 offset 消费者

本文链接：https://blog.csdn.net/jinguangliu/article/details/88040911

版权

本文介绍了如何使用librdkafka库设置Kafka消费者的起始偏移位置。默认消费者从上一次提交的偏移量开始消费，如果没有提交则依据auto.offset.reset配置。librdkafka的assign() API允许指定每个Partition的绝对或逻辑偏移量。此外，还讨论了在系统初始化和重平衡回调中设置offset的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

缺省配置

默认情况下，Kafka消费者从最后一次提交的偏移量位置（offset）开始消费消息，如果Topic+Partition和Group之前没有提交过偏移量，它订阅消息开始位置取决于Topic的配置属性auto.offset.reset的设置。默认为最新(latest)，也就是在分区末尾开始消耗（仅消费新消息）。相关配置可以参考官方文档：https://kafka.apache.org/documentation/#topicconfigs。
方便查阅，截个图：
在这里插入图片描述

相关接口信息

librdkafka提供了assign() API，通过设置rd_kafka_topic_partition_t的.offset属性，你可以指定每一个Partition的起始偏移。偏移量可以是一个绝对的偏移(>0)，或逻辑偏移 (BEGINNING, END, STORED, TAIL(…))。
rdkafka.h头文件中定义了Partition的管理结构rd_kafka_topic_partition_t，包含offset信息；同时提供了逻辑偏移的定义RD_KAFKA_OFFSET_XXX。

/**
 * @brief Generic place holder for a specific Topic+Partition.
 *
 * @sa rd_kafka_topic_p

最低0.47元/天解锁文章