Kafka —— 数据可靠性保证，副本数据同步策略（ACK，ISR,LEO,HW）

数据可靠性：

为保证producer发送的数据，能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据之后，都需要向producer发送ACK（acknowledgement 确认收到），如果producer收到ACK，就会进行下一轮的发送，否则重新发送数据。

副本数据同步策略：

方案一：半数以上完成同步，就发送ACK。

优点：延迟低。
缺点：选举新的leader时，容忍n台节点的故障，需要2n+1个副本。

方案二：全部完成同步才发送ACK。

优点：选举新的leader时，容忍n 台节点的故障，需要n+1个副本。
缺点：延迟高。

Kafka选择了第二种方案，原因如下：
（1）同样为了容忍n台节点的故障，第一种方案需要2n+1个副本，而第二种方案只需要n+1个副本，而Kafka的每个分区都有大量的数据，第一种方案会造成大量数据的冗余。（多余的重复或啰嗦内容（包括信息、语言、代码、结构、服务、软件、硬件等等）均称为冗余。）

（2）虽然第二种方案的网络延迟会比较高，但网络延迟对kafka的影响较小。

ACK（acknowledgement）：确认收到

ISR:同步副本队列（当leader接收完数据之后，通知ISR去同步副本队列）

LEO：每个副本的最后一个offset（最大的offset，数据偏移量）

HW：所有副本中最小的lLED(副本队列中最短的那一列的offset),指消费者能见到的最大offset。

leader 发生故障后，会从ISR（同步副本队列）中选出一个新的leader之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件（保存的数据）高于HW的部分截掉，然后从新的leader同步数据。
（这只能保证多个副本之间的数据的一致性，并不能保证数据不丢失或不重复。）