kafka javaAPI 手动维护偏移量

最新推荐文章于 2024-08-08 18:53:24 发布

Lu_Xiao_Yue

最新推荐文章于 2024-08-08 18:53:24 发布

阅读量3.5k

点赞数 2

文章标签： kafka JavaAPI kafka javaapi手动维护偏移量

本文链接：https://blog.csdn.net/lu_xiao_yue/article/details/85082568

版权

本文介绍如何利用Kafka的JavaAPI手动维护消费者在主题分区中的消息偏移量，确保消息处理的可靠性和顺序性。

摘要由CSDN通过智能技术生成

kafka javaAPI 手动维护偏移量

package com.kafka;

import kafka.javaapi.PartitionMetadata;
import kafka.javaapi.consumer.SimpleConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.TopicPartition;
import org.junit.Test;

import java.util.*;

public class ConsumerManageOffet {
   

//broker的地址，
//与老版的kafka的区别是，新版本的kafka把偏移量保存到了broker，而老版本的是把偏移量保存到了zookeeper中
//所以在读取数据时，应当设置broker的地址
    private static String ips = "192.168.136.150:9092,192.168.136.151:9092,192.168.136.152:9092";

    public static void main(String[] args) {
   
        Properties props = new Properties(