Kafka分区分配策略之RoundRobinAssignor

之沐（沉淀ing）

已于 2024-03-02 00:21:12 修改

阅读量552

点赞数 14

分类专栏： Kafka 文章标签： kafka 分布式 java

于 2024-02-29 00:15:59 首次发布

本文链接：https://blog.csdn.net/weixin_62926228/article/details/136359269

版权

Kafka 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了Kafka中的RoundRobin分区分配策略，它基于消费者的哈希码排序，以轮询方式将所有分区均匀分配给消费者组成员。实验显示，3个消费者分别接收到不同分区的数据，证实了Kafka的分区轮询机制。

摘要由CSDN通过智能技术生成

RoundRobinAssignor的分区分配策略不同于Range，RoundRobin 针对集群中所有Topic而言。

RoundRobin 轮询分区策略，是把所有的 partition 和所有的 consumer 都列出来，然后按照 hashcode 进行排序，最后通过轮询算法来分配 partition 给到各个消费者。

例如存在一个topic（可以是多个）中有7个 partition ，一个消费组中有3个 consumer ，Kafka会将所有的 partition 在排序后，以轮询的方式分配给每个 consumer。

首先对默认的分区分配策略进行修改，默认的分区分配策略是 Range

// 设置分区分配策略
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,"org.apache.kafka.clients.consumer.RoundRobinAssignor");

同样将三个 consumer 启动起来，并由生产者进程发送500数据

        // 创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

        //  发送数据
        for (int i = 0; i < 500; i++) {
            kafkaProducer.send(new ProducerRecord<>("first", "peace" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {

                    if (exception == null) {
                        System.out.println("主题:  " + metadata.topic() + " 分区: " + metadata.partition());
                    }
                }
            });

            Thread.sleep(1);
        }

        kafkaProducer.close();

可以看到 consumer 0 接收的是 2 和 5 分区的数据