在 Apache Kafka 中,ISR(In-Sync Replicas)集合是指与分区 Leader 副本保持同步的所有副本的集合。一个 Broker 上托管的副本如果从 ISR 集合中移除(即“踢出去”),通常是因为以下情况之一:
-
副本滞后:
- 如果某个副本落后于 Leader 的消息太多,超过了配置的
replica.lag.time.max.ms
参数值,那么这个副本就会被踢出 ISR。这个参数定义了副本可以落后Leader多久还能被认为是同步状态。
- 如果某个副本落后于 Leader 的消息太多,超过了配置的
-
网络延迟或中断:
- 当Broker之间的网络连接出现问题时,Follower副本可能无法及时接收到Leader的更新,从而导致它无法与Leader保持同步。
-
Broker宕机:
- 如果Broker节点发生故障或主动关闭,其上托管的所有副本都会自动离开ISR集合,因为它们不再能接收和处理新的消息。
-
磁盘空间不足:
- 如果Broker上的磁盘空间不足,无法写入新的日志记录,相关副本也会被踢出ISR,以防止进一步的数据丢失风险。
-
长时间未发送心跳:
- Kafka 通过心跳机制来检测副本是否还活跃并保持同步。如果Follower副本在一段时间内(由
replica.lag.time.max.ms
参数影响)没有向Leader发送心跳,则Leader会认为该副本已失效,并将其从ISR中移除。
- Kafka 通过心跳机制来检测副本是否还活跃并保持同步。如果Follower副本在一段时间内(由
总之,只要Follower副本不能及时地、完整地复制Leader的所有数据,或者由于其他原因导致无法维持同步状态,都有可能被从ISR集合中剔除。只有当这些副本重新追上Leader并满足同步条件后,才能重新加入到ISR集合中。