java Kafka客户端通过时间戳查询分区offset信息

最新推荐文章于 2024-07-23 00:47:06 发布

1凡

最新推荐文章于 2024-07-23 00:47:06 发布

阅读量748

点赞数

分类专栏： kafka 文章标签： kafka java

本文链接：https://blog.csdn.net/weixin_43029346/article/details/121426630

版权

kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

该代码段展示了一个Java方法，用于使用Kafka消费者查询特定主题在给定时间戳对应的分区和偏移量。首先，创建一个Kafka消费者实例，然后获取主题的分区信息，构造TopicPartition对象并构建查询映射，调用`offsetsForTimes`方法获取偏移量和时间戳，最后关闭消费者并返回结果。

摘要由CSDN通过智能技术生成

    
    public static Map<TopicPartition,OffsetAndTimestamp> queryOffsetFormTimestamp(Properties props, String topicName, long timestemp ) {
        Map<TopicPartition,OffsetAndTimestamp> pMap;
        Consumer<String, String> kafkaConsumer = new org.apache.kafka.clients.consumer.KafkaConsumer<String, String>(props);
        List<TopicPartition> tpList = Lists.newArrayList();
        List<PartitionInfo> partitionInfoList = kafkaConsumer.partitionsFor(topicName);
        for( PartitionInfo partitionInfo : partitionInfoList ){
            tpList.add(new TopicPartition(topicName, partitionInfo.partition()));
        }
        Map<TopicPartition,Long> partitionsQueryMap = Maps.newHashMap();
        tpList.forEach(tinfo -> {
            partitionsQueryMap.put(tinfo, timestemp);
        });
        pMap = kafkaConsumer.offsetsForTimes(partitionsQueryMap);
        kafkaConsumer.close();
        return pMap;
    }