硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

LLand520

于 2021-02-01 15:46:51 发布

阅读量1.4k

点赞数 6

分类专栏：程序员 python 文章标签： Filnk 程序员

本文链接：https://blog.csdn.net/LLand520/article/details/113521121

版权

Flink
在 Flink 中需要端到端精准一次处理的位置有三个：

Flink 端到端精准一次处理

Source 端：数据从上一阶段进入到 Flink 时，需要保证消息精准一次消费。

Flink 内部端：这个我们已经了解，利用 Checkpoint 机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性。不了解的小伙伴可以看下我之前的文章：

Flink可靠性的基石-checkpoint机制详细解析

Sink 端：将处理完的数据发送到下一阶段时，需要保证数据能够准确无误发送到下一阶段。

在 Flink 1.4 版本之前，精准一次处理只限于 Flink 应用内，也就是所有的 Operator 完全由 Flink 状态保存并管理的才能实现精确一次处理。但 Flink 处理完数据后大多需要将结果发送到外部系统，比如 Sink 到 Kafka 中，这个过程中 Flink 并不保证精准一次处理。

在 Flink 1.4 版本正式引入了一个里程碑式的功能：两阶段提交 Sink，即 TwoPhaseCommitSinkFunction 函数。该 SinkFunction 提取并封装了两阶段提交协议中的公共逻辑，自此 Flink 搭配特定 Source 和 Sink（如 Kafka 0.11 版）实现精确一次处理语义(英文简称：EOS，即 Exactly-Once Semantics)。

端到端精准一次处理语义（EOS）
以下内容适用于 Flink 1.4 及之后版本

对于 Source