Flink中的状态一致性

目录

1 状态一致性的分级

2 端到端状态一致性

3 Flink内部如何保持一致性---checkpoint检查点

3.1 Flink的检查点算法

3.2 Barrier对齐

3.3 Barrier不对齐

---

1 状态一致性的分级

at most once :故障发生之后，计数结果可能丢失

at least once :表示计数结果可能大于正确值，但绝不会小于正确值。也就是说，计数程序在发生故障后可能多算，但是绝不会少算。

exactly once : 这指的是系统保证在发生故障后得到的计数结果与正确值一致。

2 端到端状态一致性

端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每一个组件都保证了它自己的一致性，整个端到端的一致性级别取决于所有组件中一致性最弱的组件。

具体可以划分如下：

• source端 —— 需要外部源可重设数据的读取位置
• flink内部 —— 依赖checkpoint
• sink端 —— 需要保证从故障恢复时，数据不会重复写入外部系统

而对于sink端，又有两种具体的实现方式：幂等（Idempotent）写入和事务性（Transactional）写入。

3 Flink内部如何保持一致性---checkpoint检查点

3.1 Flink的检查点算法

异步分界线快照算法（之所以是异步是因为处理数据与checkpoint的生成是异步的无需，无需牺牲过多的性能）

过程：

1）生成一个检查点分界线（barrier）在source之前，随着数据流的传递性往下传递；

2）每个算子，在接受到barrier的时候，会触发快照操作（保存快照状态）

3）每个Task，在完成快照操作后，会通知JobManager

4) 当所有的Task完成快照操作后，JobManger会通知：ck检查点备份完成，实现数据的两次提交操作。

3.2 Barrier对齐

1）假设source算子的并行度为2 ，map算子的并行度的为1

2）map算子先接受到source1数据流对应的barrier，此时停止处理source1后续的数据，放在数据缓冲区种

3）当map算子接受到source2数据流对应的barrier(即所有的barrier)，此时会触发map的状态备份。

4）备份完成后，处理缓冲区中的数据，之后继续往下流。

3.3 Barrier不对齐

上述第（2）步不会停止对source1后续数据的处理，因此会造成at least once的现象