kafka-副本机制

kafka通过副本机制保证数据的可靠性

一.副本机制的概念如下:

1.一个partition有多个副本replication,一般是3个或5个

2.每个副本位于不通的broker

3.每个副本集合里有一个leader副本,其余的为follower副本,只有leader副本才接受读写请求,follower副本只做同步数据

4.所有的副本组成的集合称为AR,所有同步副本成为ISR(In-Sync Replication),所有非同步副本成为OSR,OSR+ISR=AR

5.如果leader副本不可用,将从ISR中选第一个成为leader副本

二.LEO和HW

LEO指每个副本的待写入消息的offset

HW指安全消息的offset,HW=min{ISR的LEO}

所以:

1.消费者能读到HW前的消息

2.如果leader宕机,不会有消息丢失

三.相关参数

1.replica.lag.time.max.ms: 副本最大延迟时间,超过这个延迟时间的副本会被踢出ISR

2.unclean.leader.election.enable: 如果ISR没有副本,能否从OSR中选举副本成为leader

3.min.insync.replicas: 最小的ISR集合中副本数,比如AR为3.这个参数设为2,则最多允许一个非同步副本