- ISR: In sync replicas
- OSR:Out sync replicas
在Kafka 中,外部消息请求写入时,不只是有主broker 在工作,因为了高可用的要求,kafka 在设计的时候,会专门设计了多个副本的概念,副本通过同步主broker 里的消息来达到消息的一致性。假设有副本P1、P2,如果消息同步到副本的时间都在预先设计的1s 以内,此时,会把副本全放到ISR 集合中,反之,则会把副本放到OSR 集合中。那么只有在ISR 集合中的副本才有可能在主broker节点出现问题后,当选为新的主broker 来实现系统的高可用。
如果在后续的消息同步的过程中,发现之前被放到OSR 集合中的副本,从主broker 里同步消息的时间又小于1s,此时的OSR 中的副本被拉取回ISR 集合中。 - HW: High watermark
- LEO: Log end offset
consumer 只能最高消费HW 的消息,为了保证消息在主broker 与副本之间的一致性,kafka 设计了这样一个概念,例如,现在主broker 中消息已经写到7(LEO = 7)了,但是HW 设置为4,也就是说此时consumer 最多只能拉取到4,对5/6/7 这三个消息,是不能够被拉取的到的。随时时间的推移,此时5、6 两条消息已经完成了主broker 与副本之间的同步,kafka 会把HW 设置为6,以此类推。
Kafka ISR与OSR 设计原则
于 2022-08-21 17:29:30 首次发布