Kafka源码分析（四）——Producer：Partitioner分区器

最新推荐文章于 2024-07-18 11:08:52 发布

smart哥

最新推荐文章于 2024-07-18 11:08:52 发布

阅读量626

点赞数 16

分类专栏： kafka专题文章标签： kafka 分布式

本文链接：https://blog.csdn.net/smart_an/article/details/139486206

版权

kafka专题专栏收录该内容

39 篇文章 9 订阅

订阅专栏

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬

学习必须往深处挖，挖的越深，基础越扎实！

阶段1、深入多线程

 阶段2、深入多线程设计模式

 阶段3、深入juc源码解析

阶段4、深入jdk其余源码解析

阶段5、深入jvm源码解析

码哥源码部分

码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场景题】

码哥讲源码【炸雷啦！炸雷啦！黄光头他终于跑路啦！】

码哥讲源码-【jvm课程前置知识及c/c++调试环境搭建】

码哥讲源码-原理源码篇【揭秘join方法的唤醒本质上决定于jvm的底层析构函数】

码哥源码-原理源码篇【Doug Lea为什么要将成员变量赋值给局部变量后再操作？】

码哥讲源码【你水不是你的错,但是你胡说八道就是你不对了！】

码哥讲源码【谁再说Spring不支持多线程事务，你给我抽他！】

终结B站没人能讲清楚红黑树的历史，不服等你来踢馆！

打脸系列【020-3小时讲解MESI协议和volatile之间的关系，那些将x86下的验证结果当作最终结果的水货们请闭嘴】

KafkaProducer在通过send方法发送消息时，获取到了Topic的元数据，就知道了Topic的所有分区。接着，Producer需要选择一个分区发送消息，分区选择的过程是基于 Partitioner 分区器完成的：

    int partition = partition(record, serializedKey, serializedValue, cluster);

如果消息 ProducerRecord 中指定了 partition 字段，那么就不需要分区器的作用，因为partition代表的就是所要发往的分区号；如果消息 ProducerRecord 中没有指定partition字段，那么就需要依赖分区器，根据 key这个字段来计算partition的值。

总之，分区器的作用就是为消息分配分区，Kafka提供的默认分区器是org.apache.kafka.clients.producer.internals.DefaultPartitioner，本章，我们就来看看它的内部原理。

一、分区流程

1.1 Partitioner接口

分区器的接口比较简单，核心就是partition方法，根据消息自定义计算分区号：

    public interface Partitioner extends Configurable, Closeable {
        /**
         * 根据消息计算分区
         */
        public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster);
    
        public void close();
    }

1.2 DefaultPartitioner

KafkaProducer提供了默认的分区器实现——DefaultPartitioner，实现的思路也是非常简单的：

    public class DefaultPartitioner implements Partitioner {
    
        private final ConcurrentMap<String, AtomicInteger> topicCounterMap = new ConcurrentHashMap<>();
    
        public void configure(Map<String, ?> configs) {}
    
        public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
            // 1.获取当前Topic的所有分区
            List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
            int numPartitions = partitions.size();
    
            // 2.1如果没有指定消息Key
            if (keyBytes == null) {
                // 获取一个递增序号值
                int nextValue = nextValue(topic);
                // 获取当前Topic的所有可用分区
                List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);
                if (availablePartitions.size() > 0) {
                    // 对可用分区取余
                    int part = Utils.toPositive(nextValue) % availablePartitions.size();
                    return availablePartitions.get(part).partition();
                } else {
                    // 没有可用分区，则直接对总分区数取余
                    return Utils.toPositive(nextValue) % numPartitions;
                }
            } 
            // 2.2如果指定了消息Key
            else {
                // 采用murmur2算法计算Key的Hash值，然后对分区数取余
                return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;
            }
        }
    
        private int nextValue(String topic) {、
            // topicCounterMap保存了Topic的递增序号
            AtomicInteger counter = topicCounterMap.get(topic);
            if (null == counter) {
                counter = new AtomicInteger(new Random().nextInt());
                AtomicInteger currentCounter = topicCounterMap.putIfAbsent(topic, counter);
                if (currentCounter != null) {
                    counter = currentCounter;
                }
            }
            return counter.getAndIncrement();
        }
    
        public void close() {}
    }

上述分区算法的流程如下：