kafka可靠性分析

最新推荐文章于 2023-06-29 08:55:05 发布

weixin_33912246

最新推荐文章于 2023-06-29 08:55:05 发布

阅读量75

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/u/3049601/blog/1831935

版权

2019独角兽企业重金招聘Python工程师标准>>>

分区可靠性保证

Kafka维护一个AR（All Partition）列表，由ISR（与Leader数据同步的Replica）和OSR（与Leader数据不同步的Replica）组成。刚开始所有的副本都在ISR中，在kafka工作的过程中，因为各种问题（网络、磁盘、内存）导致某些副本同步速度慢于replica.lag.time.max.ms指定的阈值，则它们被踢出ISR，移动到OSR中。 kafka默认配置下，ISR中的所有Replica数据从Leader中同步完成，生产者才会认为数据提交成功，因此ISR的数据不易过多，而且他们之间的网络也应该畅通。OSR内的Replica是否同步了leader的数据不影响数据是否提交成功，它们会尽力不断从Leader中同步数据（出现OSR需要及时运维人员，排查故障，让其尽快回到ISR中，降低集群宕机的风险)

截断机制

.HW(HighWatermark)：数据被成功提交（ISR中的所有Replica同步完成），HW更新到该位置，HW之前的数据才可以被消费者访问，保证没有同步完成的数据不会被消费者访问到，这就是隔离性（两个事务之间互不影响）。

在leader宕机后，只能从ISR列表中选取新的leader，无论ISR中哪个副本被选为新的leader都知道HW之前的数据，可以保证在切换了leader后，消费者可以继续看到之前已经提交的数据

如果leader宕机，选出了新的leader，而新的leader并没有完全同步之前leader的所有数据，之后又接受了新的数据，此时旧的leader恢复，则会发现新的leader中的数据和自己持有的数据不一致，此时旧的leader会将自己的数据截断到宕机之前的hw位置，并同步新leader的数据

生产可靠性保证

生产者向leader发送数据时，可以选择需要的可靠性级别，通过request.required.acks参数配置：

0 - 生产者不停向leader发送数据，而不需要leader反馈成功消息
        这种模式效率最高，可靠性最低
        可能在发送过程中丢失数据
        可能在leader宕机时丢失数据

    1 - 生产者发送数据给leader，leader收到数据后要等到ISR列表中的所有副本都同步数据完成后，才向生产者发送成功消息，如果一直收不到成功消息，则认为发送数据失败会自动重发数据.
        这种模式下可靠性很高，但是当ISR列表中只剩下leader时，当leader宕机让然有可能丢数据
        此时可以配置min.insync.replicas指定要求观察ISR中至少要有指定数量的副本，默认该值为1，需要改为大于等于2的值
        这样当生产者发送数据给leader但是发现ISR中只有leader自己时，会收到异常表明数据写入失败，此时无法写入数据，保证了数据绝对不丢
        虽然不丢但是可能会多数据，例如生产者发送数据给leader，leader同步数据给ISR中的follower，同步到一半leader宕机，此时选出新的leader，可能具有部分此次提交的数据，而生产者收到失败消息重发数据，新的leader接受 数据则数据重复了

因此kafka只支持At Most Once和At Least Once，不支持Exactly Once（到业务中去重）