Kafka - 指定offset进行消费

最新推荐文章于 2024-11-25 18:47:33 发布

寒沧

最新推荐文章于 2024-11-25 18:47:33 发布

阅读量3.4w

点赞数

分类专栏：大数据框架

本文链接：https://blog.csdn.net/u011669700/article/details/80023160

版权

本文介绍了如何在Kafka中指定offset进行消息消费。通过示例代码展示从队列开始消费的过程，并讨论可能遇到的空拉取问题。此外，还提到了源码中存在针对特定offset和分区的消费方法，但这些方法仅适用于单个主题或包含主题和分区的列表。

摘要由CSDN通过智能技术生成

Kafka - 指定offset进行消费

在网上搜索之后发现了，从消息队列最开始的位置对数据进行消费，主要代码如下：

String topicName = "A25";
//用于分配topic和partition
consumer.assign(Arrays.asList(new TopicPartition(topicName, 0)));
//不改变当前offset，指定从这个topic和partition的开始位置获取。
consumer.seekToBeginning(Arrays.asList(new TopicPartition(topicName, 0)));

轮询20次，查看数据的消费结果:

for (int i = 0; i < 20; i++) {
    ConsumerRecords<String, String> records = consumer.poll(100);

    logger.info("records length = {}", records.count());

    for (ConsumerRecord record : records) {