“请你简述一下Kafka中的分区分配”
以前在面试中遇到了这个问题, 当时不太清楚balabala说了一大堆,现在总结下,希望对大家有用。
在Kafka中,分区分配是一个很重要的概念,却往往会被读者忽视,它会影响Kafka整体的性能均衡。当遇到“分区分配”这个字眼的时候,一定要记住有三处地方,分别是生产者发送消息、消费者消费消息和创建主题。虽然这三处的对应操作都可以被称之为“分区分配”,但是其实质上所包含的内容却并不相同。
在面对开篇的问题的时候,不如一下就进行总结性的陈词,说有三处,第一、第二、第三balabala,当真的让你讲完三处的时候,时间也就差不多了。。聪明的面试官看到你一上来就做了一个规划总结,那他顶多也就让你说说你最熟悉的一种,其实说不定内心已经确认你是对的人。
下面针对这三处做个讲解。不过本文旨在罗列相关知识点,进行相关性的科普描述,但并不陈述具体细节,因为细节很多,有的我也不是很了解。
1、生产者的分区分配
对于用户而言,当调用send方法发送消息之后,消息就自然而然的发送到了broker中。其实在这一过程中,有可能还要经过拦截器、序列化器和分区器(Partitioner)的一系列作用之后才能被真正地发往broker。
producer.send(record);
消息在发往broker之前是需要确定它所发往的分区的,如果消息ProducerRecord中指定了partition字段,那么就不需要分区器的作用,因为partition代表的就是所要发往的分区号。如果消息ProducerRecord中没有指定partition字段,那么就需要依赖分区器,根据key这个字段来计算partition的值。分区器的作用就是为消息分配分区。
Kafka中提供的默认分区器是DefaultPartitioner,它实现了Partitioner接口(用户可以实现这个接口来自定义分区器),其中的partition方法就是用来实现具体的分区分配逻辑:
public int partition(String topic, Object key, byte[] keyBytes,
Object value, byte[] valueBytes, Cluster cluster);
默认情况下,如果消息的key不为null,那么默认的分区器会对key进行哈希(采用MurmurHash2算法,具备高运算性能及低碰撞率),最终根据得到的哈希值来计算分区号,拥有相同key的消息会被写入同一个分区。如果key为null,那么消息将会以轮询的方式发往主题内的各个可用分区。
注意:如果key不为null,那么计算得到的分区号会是所有分区中的任意一个;如果key为null并且有可用分区,那么计算得到的分区号仅为可用分区中的任意一个,注意两者之间的差别。
2、消费者的分区分配
如图所示,某个主题中共有4个分区(Partition):P0、P1、P2、P3。有两个消费组A和B都订阅了这个主题,消费组A中有4个消费者(C0、C1、C2和C3),消费组B中有2个消费者(C4和C5)。按照Kafka默认的规则,最后的分配结果是消费组A中的每一个消费者分配到1个分区,消费组B中的每一个消费者分配到2个分区,两个消费组之间互不影响。每个消费者只能消费所分配到的分区中的消息。
对于消费者的分区分配而言,Kafka自身提供了三种策略,分别为RangeAssignor、RoundRobinAssignor以及StickyAssignor,其中RangeAssignor为默认的分区分配策略,至于这三种策略具体代表什么含义,可以去查阅相关资料,比如《深入理解Kafka》,嘿嘿。当然也可以通过实现ParitionAssignor接口来自定义分区分配策略。
在消费组中如果有多个消费者,那么这些消费者又可能会采用不同的分配策略,那么最后怎么“拍板”使用哪一种具体的分配策略呢?
对于这里,我想留一道思考题给大家:在Kafka的默认规则中,每一个分区只能被同一个消费组中的一个消费者消费,那么这个规则可以被打破么?如果可以,怎么打破?打破的收益又是什么?
3、broker端的分区分配
生产者的分区分配是指为每条消息指定其所要发往的分区,消费者中的分区分配是指为消费者指定其可以消费消息的分区,而这里的分区分配是指为集群制定创建主题时的分区副本分配方案,即在哪个broker中创建哪些分区的副本。分区分配是否均衡会影响到Kafka整体的负载均衡,具体还会牵涉到优先副本等概念。
在创建主题时,如果使用了replica-assignment参数,那么就按照指定的方案来进行分区副本的创建;如果没有使用replica-assignment参数,那么就需要按照内部的逻辑来计算分配方案了。使用kafka-topics.sh脚本创建主题时的内部分配逻辑按照机架信息划分成两种策略:未指定机架信息和指定机架信息。如果集群中所有的broker节点都没有配置broker.rack参数,或者使用disable-rack-aware参数来创建主题,那么采用的就是未指定机架信息的分配策略,否则采用的就是指定机架信息的分配策略。