kafka 同一个消费者消费多个主题的多个分区

最新推荐文章于 2024-08-26 11:13:32 发布

Genebrother

最新推荐文章于 2024-08-26 11:13:32 发布

阅读量3.9k

点赞数 2

分类专栏： kafka

本文链接：https://blog.csdn.net/weixin_38638777/article/details/115281086

版权

本文探讨了在Kafka中，当一个消费者订阅了多个不同主题的分区时，如何管理和执行针对不同主题的特定业务逻辑。消费者通过poll方法获取包含所有主题分区的数据记录，需要在代码层面区分并执行相应的处理流程。

摘要由CSDN通过智能技术生成

消费者使用poll拉取数据的时候，返回的是一个records，对于该record，是将所有主题的所有分区的数据全部组成一个集合，返回给消费者，但是当我同一个消费者消费2个不同的topic数据的时候，对于2种topic，数据的格式肯定不一样，做的业务处理也肯定是不一样的，那么我们如何在同一个消费者内，在不同的topic之间做2套不同的业务逻辑。详情见代码

package com.kafka;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Arrays;
import java.util.List;
import java.util.Properties;

public class kafkaConsumerDemo {


    public static void main(String[] args) {

        Properties conf = new Properties();



        conf.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "HADOOP102:9092");
        conf.put(ConsumerConfig.KEY_DESE