kafka源码3-分区器

最新推荐文章于 2024-01-25 13:58:52 发布

strong_yu

最新推荐文章于 2024-01-25 13:58:52 发布

阅读量146

点赞数

分类专栏： kafka 文章标签： kafka源码 kafka分区 kafka分区策略 kafka分区源码

本文链接：https://blog.csdn.net/strong_yu/article/details/110061646

版权

kafka 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文深入探讨Kafka生产者如何进行分区，当key为空时采取轮询策略，非空时利用key的hash策略进行消息分布。

摘要由CSDN通过智能技术生成

之前我们知道，生产者在拿到topic的元数据信息后，就是分区，分区主要是看生产者是按照什么策略来分区的

public class KafkaProducer<K, V> implements Producer<K, V> {
private int partition(ProducerRecord<K, V> record, byte[] serializedKey, byte[] serializedValue, Cluster cluster) {
        /**
         * 有分配分区号，直接使用
         * 没分区号:
         */
        Integer partition = record.partition();
        return partition != null ?
                partition :
                partitioner.partition(
                        record.topic(), record.key(), serializedKey, record.value(), serializedValue, cluster);
    }
 }

public class DefaultPartitioner implements Partitioner {
 public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        /**
         * 发送消息对应的topic对应的分区信息
         */
        List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
        /**
         * 分区个数
         */
        int numPartitions = partitions.size();
        /**
         * 两种策略:
         * 1.key为空
         * 2.key不为空
         */
        if (keyBytes == null) {
            /**
             * key为空,有一个计数器记录消息的个数
             * 当前消息在这个topic的个数对可用分区的取模,就是采用轮询来发送
             */
            int nextValue = nextValue(topic);
            List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);
            if (availablePartitions.size() > 0) {
                int part = Utils.toPositive(nextValue) % availablePartitions.size();
                return availablePartitions.get(part).partition();
            } else {
                // no partitions are available, give a non-available partition
                return Utils.toPositive(nextValue) % numPartitions;
            }
        } else {
            // hash the keyBytes to choose a partition
            /**
             * key不为空
             * key取hash值，对分区取模，同一个key会发送到同一个分区
             */
            return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;
        }
    }
 }