kafka数据可靠性

ack

生产者发送消息时可以设置的，acks参数
ack是一种应答机制

LEO和HW

LEO：每个副本的最后一条消息的offset，leader接收到的最新消息
HW：一个分区中所有副本最小的offset，消费者可以消费到的数据

生产者生产数据先到leader中的log末尾，其他flower去同步leader的数据，但是这是有一定的时间差，HW到LEO这部分数据消费者不能消费

ISR和AR和OSR

ISR：与leader保持同步的follower集合
AR：分区的所有副本
OSR：是小副本，指的是不能及时与leader同步，暂时踢出ISR，等其追上leader之后再重新加入

follower故障

follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW，即follower追上leader之后，就可以重新加入ISR了。

leader故障

leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。

注意

这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复。