ack
生产者发送消息时可以设置的,acks参数
ack是一种应答机制
LEO和HW
LEO:每个副本的最后一条消息的offset,leader接收到的最新消息
HW:一个分区中所有副本最小的offset,消费者可以消费到的数据
生产者生产数据先到leader中的log末尾,其他flower去同步leader的数据,但是这是有一定的时间差,HW到LEO这部分数据消费者不能消费
ISR和AR和OSR
ISR:与leader保持同步的follower集合
AR:分区的所有副本
OSR:是小副本,指的是不能及时与leader同步,暂时踢出ISR,等其追上leader之后再重新加入
follower故障
follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW,即follower追上leader之后,就可以重新加入ISR了。
leader故障
leader发生故障之后,会从ISR中选出一个新的leader,之后,为保证多个副本之间的数据一致性,其余的follower会先将各自的log文件高于HW的部分截掉,然后从新的leader同步数据。
注意
这只能保证副本之间的数据一致性,并不能保证数据不丢失或者不重复。