2024年最新腾讯三面：说说Kafka的分区状态机的实现原理？，想找工作的你还不看这份资料就晚了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

5.1 PartitionLeaderElectionStrategy

分区Leader选举：为Kafka主题的某个分区推选Leader副本，当前分区Leader选举有如下场景：

5.2 PartitionLeaderElectionAlgorithms

针对以上场景，分区状态机的PartitionLeaderElectionAlgorithms定义如下方法分别负责为每种场景选举Leader副本：

• offlinePartitionLeaderElection；
• reassignPartitionLeaderElection；
• preferredReplicaPartitionLeaderElection；
• controlledShutdownPartitionLeaderElection。

其中属offlinePartitionLeaderElection最复杂：

该方法接收如下参数：

1.assignments

分区的副本列表：Assigned Replicas，AR。创建主题后，使用kafka-topics脚本查看主题时，可见Replicas列数据：主题下每个分区的AR。assignments参数类型是Seq[Int]，说明AR有序，不一定和ISR顺序相同

2.isr

保存了分区所有与Leader副本保持同步的副本列表。Leader副本自己也在ISR中。作为Seq[Int]类型的变量，isr自身也是有顺序的。

3.liveReplicas

保存该分区下所有存活状态的副本。

• 怎知副本是否存活？

根据Controller元数据缓存中的数据。所有在运行中的Broker上的副本，都认为是活的。

4.uncleanLeaderElectionEnabled

默认只要不是由AdminClient发起的Leader选举，该参数为false：Kafka不允许执行Unclean Leader选举。

Unclean Leader选举：在ISR列表为空时，Kafka选择一个非ISR副本作为新Leader。由于存在丢数据风险，Broker端参数unclean.leader.election.enable默认值为false，禁掉Unclean Leader选举。

2.4.0.0版本正式支持在AdminClient端为给定分区选举Leader：若Leader选举由AdminClient触发，默认开启Unclean Leader选举。

5.3 具体流程

顺序搜索AR列表，将第一个满足如下条件的副本作为新Leader返回：

• 该副本为存活状态，即副本所在Broker依然在运行中
• 该副本在ISR列表

若找不到这样的副本，检查是否开启Unclean Leader选举：

• 若开启，则降低标准，只要满足上面第一个条件
• 若未开启，则本次Leader选举失败，无新Leader被选出

其它选举策略几乎相同，都是从AR或给定副本列表中寻找存活状态的ISR副本。

所以Kafka为分区选举Leader就是：AR列表（或给定副本列表）中首个处于存活状态，且在ISR列表的副本。

6 分区状态转换

PartitionSM的工作原理。

handleStateChanges

入口方法签名：

1. 调用doHandleStateChanges执行分区状态转换

包含确认哪些Broker属于下一步的相关Broker，给Broker发送哪些请求
2. Controller给相关Broker发送请求，告知它们这些分区的状态变更

重点还是

doHandleStateChanges

• 首先状态初始化，即在方法调用时，不在【元数据缓存】中的所有分区的状态被初始化为NonExistentPartition
• 然后，检查哪些分区执行的状态转换非法&&记录错误日志
• 据合法状态转换的分区列表，进入case分支。分区状态只有4个，其case分支代码远比ReplicaSM的简单，且只有OnlinePartition分支较复杂，其余3路仅是将分区状态置成目标状态

重点看OnlinePartition分支：

1. 初始化NewPartition态的分区，即在zk中，创建并写入分区节点数据。

节点位置：/brokers/topics/<topic>/partitions/<partition>，每个节点都要包含分区的Leader和ISR。

Leader和ISR的确定规则：

* 选择存活副本列表的第一个副本作为Leader
* 选择存活副本列表作为ISR详见initializeLeaderAndIsrForPartitions：

2. 为具备Leader选举资格的分区推选Leader，调用electLeaderForPartitions实现：不断尝试为多个分区选举Leader，直到所有分区都成功选出Leader。

选举Leader的核心代码：

doElectLeaderForPartitions

大体分为如下步骤：

1. 从zk获取给定分区的Leader、ISR信息，将结果封装进validLeaderAndIsrs：

2. 开始选举Leader，并根据有无Leader将分区进行分区

根据给定的PartitionLeaderElectionStrategy，调用PartitionLeaderElectionAlgorithms的不同方法执行Leader选举，同时，区分出成功选举Leader和未选出Leader的分区。

4种不同策略定义了4个专属方法执行Leader选举。选择Leader的规则：副本集合中首个存活&&处于ISR中的副本。

3. 更新zk节点数据及Controller端元数据缓存信息：

联想到handleStateChanges的step2是Controller给相关的Broker发送请求：

7 总结

本文深入研究了Kafka分区状态机的构造原理和工作机制。

Kafka目前提供4种Leader选举策略：

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取