kafka的副本机制

partition的副本被称为replica，每个分区可以有多个副本，并且在副本集中会存在一个leader副本，所有的读写请求都会通过leader完成，follower复制只负责备份数据。

副本会均匀分配到多台broker上，当leader节点挂掉之后，会从副本集中重新选出一个副本作为leader继续提供服务

副本分配算法：

n个broker
将第i个partition的第j个副本分配到第（（i+j）mod n）个broker上

kafka副本机制中的概念：

1. leader副本：响应客户端的读写请求
2. follow副本：备份leader的数据，不进行读写操作
3. ISR副本：leader副本和所有能够与leader副本保持基本同步的follow副本，如 果follow副本和leader副本数据同步速度过慢，该follow将会被T出ISR副本

ISR集合中的副本必须满足的条件：

1. 副本所在的节点与zk相连
2. 副本的最后一条消息和leader副本的最后一条消息的差值不能超过阈值replica.lag.time.max.ms:如果该follower在此时间间隔之内没有追上leader,则该follower将会被T出ISR

副本同步时的两个重要概念

1. LEO（Last end offset） 记录了该副本底层日志中的下一条消息的offset，例如LEO为10，那么当前的offset为9
2. HW （High water）标记着可消费的消息，对于同一个副本而言HW不会大于LEO，小于等于HW的消息将会被认为是已备份的。

副本协同机制

producer将消息发送到该partition的leader上，leader会把消息写入其本地log，每个follower都从leader pull数据。在follower收到消息并且将消息写入本地log之后会向leader发送ack，一旦leader收到了ISR中所有replica的ACK，该消息就被认为已经commit了，leader会增加HW并向producer发送ACK

过程如下所示

follower发送fetch请求，并带上自己的LEO
leader端的操作
1.当producer发送一个消息给leader之后，leader会把消息写入磁盘
2.然后leader会更新LEO，这时候尝试更新HW，HW是取LEO和remoteLEO的较小值，这时候HW依然为0.（remoteLEO取所有Follower发过来的offset中最小的一个）
3.把消息内容和当前的HW值发送给follower副本

当收到响应之后，follower端的操作
1.将消息写入本地log，同时更新LEO
2.比较本地LEO和返回的HW,比较他们取小值赋值给HW

第二次发送fetch请求之后

leader
1.更新remoteLEO=1
2.更新HW为1
3.把数据和当前HW返回给follower，如果这时候没有数据，则返回空

follower收到response之后
1.如果有数据则写入本地日志，并且更新LEO
2.更新HW的值
到目前为止，consumer就可以消费offset=0的消息了