1. Why Rebalance?
当某个Broker宕机时,分布在该Broker节点的Leader副本的Leadership就会转移到其他副本。当该Broker重新启动时,它将只是其所有分区的follower,导致该节点不会用于同客户端读写。
为了避免这种不平衡,Kafka提出了preferred replicas
的概念。如果分区的副本列表为[1,5,9],则副本1会优先选作Leader,因为它在副本列表中较早。默认情况下,Kafka集群将尝试将Leadership恢复到首选副本,实现Broker的负载均衡。
【补充】:正常情况下,Leader选举controller会首先判断存在ISR(in-sync-replica) 中的副本,其次按照preferred replicas
的顺序,谁优先则谁选为Leader。preferred replicas
在每个Topic创建之时生成,顺序不会发生改变。
2. Rebalance Configure
参数 | 默认值 | 描述 |
---|---|---|
auto.leader.rebalance.enable | true | 开启再平衡 |
leader.imbalance.check.interval.seconds | 300 | 再平衡检测的时间间隔,300秒 |
leader.imbalance.per.broker.percentage | 10 | 每个Broke |