Kafka中的分区分配（面试点）

“请你简述一下Kafka中的分区分配” 

            以前在面试中遇到了这个问题， 当时不太清楚balabala说了一大堆，现在总结下，希望对大家有用。

在Kafka中，分区分配是一个很重要的概念，却往往会被读者忽视，它会影响Kafka整体的性能均衡。当遇到“分区分配”这个字眼的时候，一定要记住有三处地方，分别是生产者发送消息、消费者消费消息和创建主题。虽然这三处的对应操作都可以被称之为“分区分配”，但是其实质上所包含的内容却并不相同。

在面对开篇的问题的时候，不如一下就进行总结性的陈词，说有三处，第一、第二、第三balabala，当真的让你讲完三处的时候，时间也就差不多了。。聪明的面试官看到你一上来就做了一个规划总结，那他顶多也就让你说说你最熟悉的一种，其实说不定内心已经确认你是对的人。

 下面针对这三处做个讲解。不过本文旨在罗列相关知识点，进行相关性的科普描述，但并不陈述具体细节，因为细节很多，有的我也不是很了解。

 1、生产者的分区分配

      对于用户而言，当调用send方法发送消息之后，消息就自然而然的发送到了broker中。其实在这一过程中，有可能还要经过拦截器、序列化器和分区器（Partitioner）的一系列作用之后才能被真正地发往broker。

producer.send(record);

      消息在发往broker之前是需要确定它所发往的分区的，如果消息ProducerRecord中指定了partition字段，那么就不需要分区器的作用，因为partition代表的就是所要发往的分区号。如果消息ProducerRecord中没有指定partition字段，那么就需要依赖分区器，根据key这个字段来计算partition的值。分区器的作用就是为消息分配分区。

Kafka中提供的默认分区器是DefaultPartitioner，它实现了Partitioner接口（用户可以实现这个接口来自定义分区器），其中的partition方法就是用来实现具体的分区分配逻辑：

public int partition(String topic, Object key, byte[] keyBytes,
                     Object value, byte[] valueBytes, Cluster cluster);

       默认情况下，如果消息的key不为null，那么默认的分区器会对key进行哈希（采用MurmurHash2算法，具备高运算性能及低碰撞率），最终根据得到的哈希值来计算分区号，拥有相同key的消息会被写入同一个分区。如果key为null，那么消息将会以轮询的方式发往主题内的各个可用分区。

注意：如果key不为null，那么计算得到的分区号会是所有分区中的任意一个；如果key为null并且有可用分区，那么计算得到的分区号仅为可用分区中的任意一个，注意两者之间的差别。

 

2、消费者的分区分配

        如图所示，某个主题中共有4个分区（Partition）：P0、P1、P2、P3。有两个消费组A和B都订阅了这个主题，消费组A中有4个消费者（C0、C1、C2和C3），消费组B中有2个消费者（C4和C5）。按照Kafka默认的规则，最后的分配结果是消费组A中的每一个消费者分配到1个分区，消费组B中的每一个消费者分配到2个分区，两个消费组之间互不影响。每个消费者只能消费所分配到的分区中的消息。

      对于消费者的分区分配而言，Kafka自身提供了三种策略，分别为RangeAssignor、RoundRobinAssignor以及StickyAssignor，其中RangeAssignor为默认的分区分配策略，至于这三种策略具体代表什么含义，可以去查阅相关资料，比如《深入理解Kafka》，嘿嘿。当然也可以通过实现ParitionAssignor接口来自定义分区分配策略。

在消费组中如果有多个消费者，那么这些消费者又可能会采用不同的分配策略，那么最后怎么“拍板”使用哪一种具体的分配策略呢？

对于这里，我想留一道思考题给大家：在Kafka的默认规则中，每一个分区只能被同一个消费组中的一个消费者消费，那么这个规则可以被打破么？如果可以，怎么打破？打破的收益又是什么？

 

3、broker端的分区分配

       生产者的分区分配是指为每条消息指定其所要发往的分区，消费者中的分区分配是指为消费者指定其可以消费消息的分区，而这里的分区分配是指为集群制定创建主题时的分区副本分配方案，即在哪个broker中创建哪些分区的副本。分区分配是否均衡会影响到Kafka整体的负载均衡，具体还会牵涉到优先副本等概念。

     在创建主题时，如果使用了replica-assignment参数，那么就按照指定的方案来进行分区副本的创建；如果没有使用replica-assignment参数，那么就需要按照内部的逻辑来计算分配方案了。使用kafka-topics.sh脚本创建主题时的内部分配逻辑按照机架信息划分成两种策略：未指定机架信息和指定机架信息。如果集群中所有的broker节点都没有配置broker.rack参数，或者使用disable-rack-aware参数来创建主题，那么采用的就是未指定机架信息的分配策略，否则采用的就是指定机架信息的分配策略。