问题解析
在Kafka的架构中,一个Topic的逻辑主题可以分成多个Partition的分区去实现消息内容的物理存储。
同时为了保证Paritition分区的一个可靠性,Kafka设计了分区副本的概念。也就是一个Paritition分区可以设置多个副本。在多个副本中由于涉及到数据的同步,所以Kafka针对于Partition分区副本集,设置了一个Leader副本和Follower副本。
Leader副本负责处理所有的读写请求,Follower副本只负责从Leader副本去同步数据。
Partition分区副本的Leader选举和Kafka集群本身的Leader选举不是同一个概念。
问题回答
Kafka首先会选择一个具有最新数据的副本作为新的Leader,也就是ISR集合中的副本。
其中ISR集合指的是与Leader同步的副本集合。简单理解就是它们的数据同步状态与Leader最接近。并且它们与Leader副本的网络通信延迟是最小的。
如果ISR集合没有而用副本,Kafka会从所有副本中去选择一个具有最新数据的副本作为新的Leader。当然,在这种情况下选举出来的Leader由于和原来老的Leader节点的数据存在较大的延迟,所以可能会造成一部分的数据丢失的一个情况。
所以Kafka设计者把这个功能开关的选择交给了开发人员,如果愿意接受这种情况,可以通过这样一个参数来设置(unclean.leader.election.enable),开启之后虽然会造成数据丢失,但是至少可以保证依然能够对外提供服务,保证可用性。