Flink如何保证exactly-once

每处理完一笔数据，更改完状态后进行一次快照，快照包含在队列中并与相应的状态进行对比，完成一致的快照，就能确保精确一次。

Flink作为分布式的处理引擎，在分布式的场景下，进行多个本地状态的运算，只产生一个全域一致的快照（Global consistent snapshot），如需要在不中断运算值的前提下产生全域一致的快照，就涉及到分散式状态容错。

Flink的分散式快照（Distributed Snapshots）方法采用 Chandy lamport 算法改进。

将节点作为一个点，链路作为边，可以将分布式系统看作一个有向图，那么分布式快照需要记录两个东西（节点自身状态(S)，发出到链路中的数据但还未到达下一个节点的数据(M)），由于数据是不中断的，那么对于发出去的数据需要有一个分隔符来分割，M和S保存后发出去的数据。Chandy lamport使用marker作为分割符，marker与一般的数据不同，可以被节点识别出来，当节点识别出来后，就说明这个快照的数据已经全部到达，可以将快照信息保存到对应的文件系统。

Flink则采用Checkpoint barrier作为分隔符，与Chandy lamport相似。