Kafka：消费Topic主题下特定的分区消息

程序员无羡

已于 2023-03-21 21:28:14 修改

阅读量406

点赞数

分类专栏： Kafka 文章标签： kafka 分布式大数据中间件 spring boot Powered by 金山文档

于 2023-03-21 20:31:58 首次发布

本文链接：https://blog.csdn.net/weixin_45427648/article/details/129696922

版权

Kafka 专栏收录该内容

56 篇文章 1 订阅

订阅专栏

该代码示例展示了一个Java程序，用于创建一个Kafka消费者实例，它连接到指定的服务器，配置为使用StringDeserializer，并订阅了名为test主题的第0个分区。消费者会持续不断地轮询并打印出接收到的ConsumerRecords。

摘要由CSDN通过智能技术生成

需求：

创建一个独立消费者，消费 test 主题 0 号分区的数据。

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.ArrayList;
import java.util.Properties;

public class CustomConsumerPartition {

    public static void main(String[] args) {

        // 0 配置
        Properties properties = new Properties();

        // 连接
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.25.129:9092,192.168.25.129:9092");

        // 反序列化
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // 组id
        properties.put(ConsumerConfig.GROUP_ID_CONFIG,"test");

        // 1 创建一个消费者
        // KafkaConsumer<K, V> 
        // 由于消息形式是 key value 为 "", "hello"
        // 所以泛型K为key为String类型 泛型V为传递消息的类型，此处发送字符串用String类型
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);

        // 2 订阅主题对应的分区
        // 注册要消费的主题（可以消费多个主题）
        ArrayList<TopicPartition> topicPartitions = new ArrayList<>();
        // 消费Topic主题下特定的分区消息
        topicPartitions.add(new TopicPartition("test",0));
        kafkaConsumer.assign(topicPartitions);

        // 3 消费数据
        while (true){

            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofSeconds(1));

            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord);
            }
        }
    }
}