Kafka Consumer 消费多线程vs多实例

最新推荐文章于 2024-05-08 15:23:31 发布

腹黑客

最新推荐文章于 2024-05-08 15:23:31 发布

阅读量2.4k

点赞数 1

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_29342297/article/details/115130279

版权

本文对比了Kafka Consumer在方案一（多实例）和方案二（多线程）下的消费性能提升效果。通过实验发现，两者都能提高消费性能，但方案二可能破坏消息顺序性，选择需依据业务需求。

摘要由CSDN通过智能技术生成

Kafka Consumer消费性能提升

针对一下两种方案进行对比，并通过代码检验。基于Kafka2.2.1版本

1. 方案一

在同一个Consumer Group中，创建多个Consumer，增加消费者性能。
在这里插入图片描述

创建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 10 --topic mul_consumer_10

表格中展示出不同Consumer实例下的执行结果：

Consumer 实例	Partition	结果
8	10	Consumer数量小于partition数量时，某个分区数据被消费完之后，会让空闲Consumer继续消费未消费的partition中的数据。（partition数量大于Consumer数量，会将多出的partition分给同一个Consumer）
10	10	正常消费。每个Consumer实例分配一个partition，每个Consumer下的partition数据顺序消费。

12	10	Consumer数量大于partition数量时，空闲的Consumer啥事也不干。

对应Java API代码：

Consumer Thread 实现类

public class ConsumerThread implements Runnable {
     
    private KafkaConsumer<String,String> kafkaConsumer;
    private String topic ;

    public ConsumerThread(String brokers,String topicId ,  String topic) {
     

        Properties properties = buildKafkaProperty(brokers,topicId);
        this.kafkaConsumer = new KafkaConsumer<>(properties);
        this.topic = topic;
        this.kafkaConsumer.subscribe(Arrays.asList(this.topic));
    }

    private static Properties buildKafkaProperty(String brokers,String groupId){
     

        Properties properties = new Properties();
        properties.put("bootstrap.servers", brokers);
        properties.put("group.id", groupId);
        properties.put("enable.auto.commit", "true");
        properties.put("auto.commit.interval.ms", "1000");
        properties.put("session.timeout.ms", "30000");
        properties.put("auto.offset.reset", "earliest");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        return properties;
    }

    @Override
    public void run() {
     

        while (true){
     
            ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(100));
            for(ConsumerRecord<String,String> record : records){
     
                System.out.print(Thread.currentThread().