Kafka中Partition分区副本的Leader选举算法

问题解析

在Kafka的架构中，一个Topic的逻辑主题可以分成多个Partition的分区去实现消息内容的物理存储。

同时为了保证Paritition分区的一个可靠性，Kafka设计了分区副本的概念。也就是一个Paritition分区可以设置多个副本。在多个副本中由于涉及到数据的同步，所以Kafka针对于Partition分区副本集，设置了一个Leader副本和Follower副本。

Leader副本负责处理所有的读写请求，Follower副本只负责从Leader副本去同步数据。

Partition分区副本的Leader选举和Kafka集群本身的Leader选举不是同一个概念。

问题回答

Kafka首先会选择一个具有最新数据的副本作为新的Leader，也就是ISR集合中的副本。

其中ISR集合指的是与Leader同步的副本集合。简单理解就是它们的数据同步状态与Leader最接近。并且它们与Leader副本的网络通信延迟是最小的。

如果ISR集合没有而用副本，Kafka会从所有副本中去选择一个具有最新数据的副本作为新的Leader。当然，在这种情况下选举出来的Leader由于和原来老的Leader节点的数据存在较大的延迟，所以可能会造成一部分的数据丢失的一个情况。

所以Kafka设计者把这个功能开关的选择交给了开发人员，如果愿意接受这种情况，可以通过这样一个参数来设置（unclean.leader.election.enable）,开启之后虽然会造成数据丢失，但是至少可以保证依然能够对外提供服务，保证可用性。

参考资料：Kafka中Partition分区副本的Leader选举算法