flink checkpoint流程-如何保证flink框架内部精准一次

checkpoint流程

checkpoint：将算子的状态数据持久化。

1 jobmanager 调度器定时向taskmanager发送checkpoint指令，taskmanager在source中发出一条barrier数据，并将此时的offset进行checkpoint。
2 barrier向下游任务传递，接收到barrier之后，任务将进行checkpoint，直到所有任务完成checkpoint，一次完整的checkpoint就算完成了。
3 这样可以保证barrier之前的数据走完所有任务流程，一旦程序发生错误，可以从checkpoint保存的offset重读数据，从保存的状态中恢复计算，保证所有数据在flink中只被处理一次。

当上游任务油多个并行度时，每个并行度都会把barrier发往下游任务，那么下游任务怎么决定barrier是否到来了呢？
这里flink提供了几种不同的方案可供选择。
1.barrier对齐精准一次：
上游所有子任务的barrier到来之后才进行checkpoint，这样需要对早来的子任务barrier之后的数据进行缓存暂不处理，否则状态数据会乱，缺点是实时性有所降低，因为延迟处理了。
2 barrier对其至少一次：
同样是上游所有子任务的barrier到来之后进行checkpoint，但是早到的子任务barrier之后的数据也直接进行处理，不做缓存，优点是实时性高，缺点是无法保证精准一次，因为数据可能会被重复处理。
3 barrier非对齐精准一次
第一个barrier到达sink任务的时候就进行checkpoint，并且把其它barrier之前尚未到达的数据进行缓存。缺点是一旦发生背压，可能会缓存大量数据。