Kafka Consumer 消费 多线程vs多实例

本文对比了Kafka Consumer在方案一(多实例)和方案二(多线程)下的消费性能提升效果。通过实验发现,两者都能提高消费性能,但方案二可能破坏消息顺序性,选择需依据业务需求。
摘要由CSDN通过智能技术生成

Kafka Consumer消费性能提升

针对一下两种方案进行对比,并通过代码检验。基于Kafka2.2.1版本

1. 方案一

在同一个Consumer Group中,创建多个Consumer,增加消费者性能。
在这里插入图片描述

创建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 10 --topic mul_consumer_10

表格中展示出不同Consumer实例下的执行结果:

Consumer 实例 Partition 结果
8 10 Consumer数量小于partition数量时,某个分区数据被消费完之后,会让空闲Consumer继续消费未消费的partition中的数据。(partition数量大于Consumer数量,会将多出的partition分给同一个Consumer)在这里插入图片描述
10 10 正常消费。每个Consumer实例分配一个partition,每个Consumer下的partition数据顺序消费。
在这里插入图片描述
12 10 Consumer数量大于partition数量时,空闲的Consumer啥事也不干。

对应Java API代码:

  • Consumer Thread 实现类

    public class ConsumerThread implements Runnable {
         
        private KafkaConsumer<String,String> kafkaConsumer;
        private String topic ;
    
        public ConsumerThread(String brokers,String topicId ,  String topic) {
         
    
            Properties properties = buildKafkaProperty(brokers,topicId);
            this.kafkaConsumer = new KafkaConsumer<>(properties);
            this.topic = topic;
            this.kafkaConsumer.subscribe(Arrays.asList(this.topic));
        }
    
        private static Properties buildKafkaProperty(String brokers,String groupId){
         
    
            Properties properties = new Properties();
            properties.put("bootstrap.servers", brokers);
            properties.put("group.id", groupId);
            properties.put("enable.auto.commit", "true");
            properties.put("auto.commit.interval.ms", "1000");
            properties.put("session.timeout.ms", "30000");
            properties.put("auto.offset.reset", "earliest");
            properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    
            return properties;
        }
    
        @Override
        public void run() {
         
    
            while (true){
         
                ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(100));
                for(ConsumerRecord<String,String> record : records){
         
                    System.out.print(Thread.currentThread().
  • 1
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值