Kafka ISR与OSR 设计原则

Stangor

已于 2022-08-21 17:31:40 修改

阅读量717

点赞数

分类专栏： Kafka 文章标签： kafka java 分布式

于 2022-08-21 17:29:30 首次发布

本文链接：https://blog.csdn.net/stanxl/article/details/126452784

版权

Kafka 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

                    
                    ISR: In sync replicas
OSR：Out sync replicas
 在Kafka 中，外部消息请求写入时，不只是有主broker 在工作，因为了高可用的要求，kafka 在设计的时候，会专门设计了多个副本的概念，副本通过同步主broker 里的消息来达到消息的一致性。假设有副本P1、P2，如果消息同步到副本的时间都在预先设计的1s 以内，此时，会把副本全放到ISR 集合中，反之，则会把副本放到OSR 集合中。那么只有在ISR 集合中的副本才有可能在主broker节点出现问题后，当选为新的主broker 来实现系统的高可用。
 如果在后续的消息同步的过程中，发现之前被放到OSR 集合中的副本，从主broker 里同步消息的时间又小于1s，此时的OSR 中的副本被拉取回ISR 集合中。
HW: High watermark
LEO: Log end offset
 consumer 只能最高消费HW 的消息，为了保证消息在主broker 与副本之间的一致性，kafka 设计了这样一个概念，例如，现在主broker 中消息已经写到7（LEO = 7）了，但是HW 设置为4，也就是说此时consumer 最多只能拉取到4，对5/6/7 这三个消息，是不能够被拉取的到的。随时时间的推移，此时5、6 两条消息已经完成了主broker 与副本之间的同步，kafka 会把HW 设置为6，以此类推。