数据可靠性:
为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据之后,都需要向producer发送ACK(acknowledgement 确认收到),如果producer收到ACK,就会进行下一轮的发送,否则重新发送数据。
副本数据同步策略:
方案一:半数以上完成同步,就发送ACK。
优点:延迟低。
缺点:选举新的leader时,容忍n台节点的故障,需要2n+1个副本。
方案二:全部完成同步才发送ACK。
优点:选举新的leader时,容忍n 台节点的故障,需要n+1个副本。
缺点:延迟高。
Kafka选择了第二种方案,原因如下:
(1)同样为了容忍n台节点的故障,第一种方案需要2n+1个副本,而第二种方案只需要n+1个副本,而Kafka的每个分区都有大量的数据,第一种方案会造成大量数据的冗余。(多余的重复或啰嗦内容(包括信息、语言、代码、结构、服务、软件、硬件等等)均称为冗余。)
(2)虽然第二种方案的网络延迟会比较高,但网络延迟对kafka的影响较小。
ACK(acknowledgement):确认收到
ISR:同步副本队列(当leader接收完数据之后,通知ISR去同步副本队列)
LEO:每个副本的最后一个offset(最大的offset,数据偏移量)
HW:所有副本中最小的lLED(副本队列中最短的那一列的offset),指消费者能见到的最大offset。
leader 发生故障后,会从ISR(同步副本队列)中选出一个新的leader之后,为保证多个副本之间的数据一致性,其余的follower会先将各自的log文件(保存的数据)高于HW的部分截掉,然后从新的leader同步数据。
(这只能保证多个副本之间的数据的一致性,并不能保证数据不丢失或不重复。)