超级会员免费看
本文介绍了流处理系统Flink中的一致性保证，包括at-most-once、at-least-once和exactly-once三个级别。其中，at-most-once可能丢失数据，at-least-once确保不漏计但可能多计，而exactly-once则能在故障后提供准确结果。文章指出，实现exactly-once的复杂性和局限性，以及不同代流处理器在这方面的能力差异，如Storm、Spark与Flink的对比。
Flink 是流处理器，那么同样会涉及到一致性的3个级别，他们分别如下
1、at-most-once
这其实是没有正确性保障的委婉说法，故障发生后，计数可能丢失。
2、at-least-once
这表示计数结果可能大于正确值，但是绝不会小于正确值，即计数程序发生故障后可能多算，但是绝不会少计算。
3、exactly-once
这是指系统保证在故障发生后得到的计数结果与正确值一致。
保证 exactly-once 不易
1、第一代流处理器只能保证 at-least-once
Storm 和 Samza
2、第二代流处理器
Storm trident 和 Spark streaming，但是必须要在效率和低延迟之间做出权衡。
3、第三代流处理器
Flink，保证了exactly-once ，同时具有高吞吐和低延迟。
4、原因有如下2点
(1)保证 exactly-once 的实现比较复杂
(2)局限性
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
