数据可靠性

最新推荐文章于 2024-01-07 02:07:14 发布

JackLi_csdn

最新推荐文章于 2024-01-07 02:07:14 发布

阅读量1.2k

点赞数

分类专栏：消息队列文章标签：数据一致性

本文链接：https://blog.csdn.net/JackLi31742/article/details/102005918

版权

本文探讨了Kafka的数据可靠性策略，包括副本数据同步选择第二种方案以减少冗余，ISR机制确保follower与leader同步，ack应答机制平衡数据丢失与延迟，以及详细描述了follower和leader故障时的数据处理细节，旨在保证副本间数据一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1）副本数据同步策略
在这里插入图片描述

Kafka 选择了第二种方案，原因如下：
1.同样为了容忍 n 台节点的故障，第一种方案需要 2n+1 个副本，而第二种方案只需要 n+1个副本，而 Kafka 的每个分区都有大量的数据，第一种方案会造成大量数据的冗余。
2.虽然第二种方案的网络延迟会比较高，但网络延迟对 Kafka 的影响较小。

2）ISR（broker的参数配置）
Leader 维护了一个动态的 in-sync replica set (ISR)，意为和 leader 保持同步的 follower 集合。当 ISR 中的 follower 完成数据的同步之后，leader 就会给 follower 发送 ack。如果 follower长时间未向 leader 同步数据，则该 follower 将被踢出 ISR ，该时间阈值由replica.lag.time.max.ms 参数设定。Leader 发生故障之后，就会从 ISR 中选举新的 leader。

3）ack 应答机制
acks 参数配置：Produceer的参数配置
acks：
0：producer 不等待 broker 的 ack，这一操作提供了一个最低的延迟，broker 一接收到还没有写入磁盘就已经返回，当 broker 故障时有可能丢失数据；
1：producer 等待 broker 的 ack，partition 的 leader 落盘成功后返回

最低0.47元/天解锁文章