kafka:默认的分区策略

最新推荐文章于 2023-11-26 22:12:39 发布

amadeus_liu2

最新推荐文章于 2023-11-26 22:12:39 发布

阅读量1.2k

点赞数

分类专栏： kafka 文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/amadeus_liu2/article/details/127547183

版权

kafka 专栏收录该内容

37 篇文章 1 订阅

订阅专栏

默认使用DefaultPartitioner这个类来作为分区策略。获取分区的方法源码：

    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
        int numPartitions = partitions.size();
        if (keyBytes == null) {
            int nextValue = this.nextValue(topic);
            List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);
            if (availablePartitions.size() > 0) {
                int part = Utils.toPositive(nextValue) % availablePartitions.size();
                return ((PartitionInfo)availablePartitions.get(part)).partition();
            } else {
                return Utils.toPositive(nextValue) % numPartitions;
            }
        } else {
            return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;
        }
    }

具体分两种情况：
1.当消息的key不为空时，直接使用murmur哈希算法从所有的分区中来选定一个分区
2.当消息的key为空时，在可用分区中按照轮询算法选定一个分区，其中调用的nextValue这个方法的源码如下：

    private int nextValue(String topic) {
        AtomicInteger counter = (AtomicInteger)this.topicCounterMap.get(topic);
        if (null == counter) {
            counter = new AtomicInteger(ThreadLocalRandom.current().nextInt());
            AtomicInteger currentCounter = (AtomicInteger)this.topicCounterMap.putIfAbsent(topic, counter);
            if (currentCounter != null) {
                counter = currentCounter;
            }
        }

        return counter.getAndIncrement();
    }