Kafka如何保证消息可靠性和一致性

Kafka如何保证消息可靠性和一致性

1. 生产者数据的不丢失
   kafka 的 ack 机制：在 kafka 发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。

2. 消费者数据的不丢失
   通过 offset commit 来保证数据的不丢失，kafka 自己记录了每次消费的 offset 数值，下次继续消费的时候，接着上次的 offset 进行消费即可。

3. 保存的数据不丢失
   kafka按照partition保存, 数据可以保存多个副本 , 副本中有一个副本是 Leader，其余的副本是 follower , follower会定期的同步leader的数据
   要保证在leader挂了之后数据一致性 , 在Leader挂了，在新Leader上数据依然可以被客户端读到
   这就要通过一个HighWater 机制 , 每个分区的 leader 会维护一个 ISR 列表 , ISR 列表里面就是 follower 副本的 Borker 编号, 只有跟得上 Leader 的 follower 副本才能加入到 ISR 里面, 只有所有ISR列表都同步的数据才能被comsumer读取 , High Water机制取决于 ISR 列表里面偏移量最小的分区 , 类似木桶原理