1.世界
3.处理语义
辅助:95-241-102-源码-Flink语义-Flink的exectly-once系列之两阶段提交实现分析
关于消息的消费、处理语义可以分为三类:
-
at most once : 至多一次,表示一条消息不管后续处理成功与否只会被消费处理一次,那么就存在数据丢失可能
-
exactly once : 精确一次,表示一条消息从其消费到后续的处理成功,只会发生一次
-
at least once :至少一次,表示一条消息从消费到后续的处理成功,可能会发生多次
4.exectly once语义
在我们程序处理中通常要求能够满足exectly once语义,保证数据的准确性,flink 通过checkpoint机制提供了Exactly-Once与At-Least-Once 两种不同的消费语义实现, 可以将程序处理的所有数据都保存在状态内部,当程序发生异常失败重启可以从最近一次成功checkpoin