Kafka实战:KafkaConsumer#seek方法不生效

在Kafka管理平台实现数据预览功能时遇到KafkaConsumer#seek方法不生效的问题。在CDH 6.3.2和Kafka 2.2.1环境下,尽管尝试设置offset,仍只能获取最新数据。示例代码展示该问题,实验结果显示只有在将auto.offset.reset设置为earliest时,seek方法才能正常工作。
摘要由CSDN通过智能技术生成

1. 背景

现需要在Kafka管理平台中加入数据预览功能,浏览topic最新的10条数据,我们需要用startOffset = HighWatermark - 10公式求出起始startOffset,从startOffset开始查询分区中的数据。
但是,在使用KafkaConsumer#seek方法设置offset时不生效,KafkaConsumer#poll始终无法拉取到历史数据,更精确地说,始终只能拉取到最新插入的数据。

环境:
CDH 6.3.2
Kafka 2.2.1
kafka-client 2.2.0

2. 示例

现有如下示例,示例中启动了一个KafkaConsumer并尝试从指定位置消费制定分区

public class KafkaConsumerKerberos {
   
    public static void main(String[] args) throws InterruptedException {
   
        String bootstrapServers = System.getProperty("bootstrapServers");
        String topic = System.getProperty("topic");
        Properties consumerConfig = new Properties();
        consumerConfig.put
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值