Flink CheckpointingMode.EXACTLY_ONCE精确一次状态更新语义详解

本文链接：https://blog.csdn.net/a772304419/article/details/144985663

Apache Flink 是一个分布式流处理框架，它提供了高吞吐量、低延迟和精确一次（exactly-once）的状态更新语义。Checkpointing 在 Flink 中用于实现容错机制，确保即使在程序失败的情况下也能恢复到一致的状态。

CheckpointingMode.EXACTLY_ONCE

CheckpointingMode.EXACTLY_ONCE 是 Flink 的一种检查点模式，它保证了数据处理的精确一次语义。这意味着每个输入记录将恰好被处理一次，并且状态更新也会恰好应用一次。这为应用程序提供了一致性和准确性，尤其是在需要维护严格的数据完整性的场景下非常重要。

当启用 EXACTLY_ONCE 模式时，Flink 会执行以下操作来确保数据的一致性：

Barrier Insertion：Flink 定期地向数据流中插入特殊的 checkpoint barriers。这些 barriers 将数据流分割成不同的快照区间。每个 barrier 包含一个 checkpoint ID，用于标识所属的快照。
State Snapshotting：每当 barrier 到达算子时，该算子会将其当前的状态快照保存到持久化存储中。这个快照包含了所有算子内部状态的信息，如窗口中的聚合结果、键值状态等。
Source Acknowledgment：对于每一个 checkpoint，source 算子会等待所有相关的 barriers 到达并完成状态快照后，才会确认这个 checkpoint。这确保了所有的输入数据都已经被正确处理并包含在快照中。
Two-Phase Commit Protocol (2PC)：为了支持外部系统的精确一次语义，例如数据库或消息队列系统，Flink 可以与这些系统进行交互，使用两阶段提交协议来协调事务。这意味着只有当所有参与者（包括 Flink 和外部系统）都准备好提交时，事务才会被最终确认。
Recovery Process：如果任务失败，Flink 可以从最近成功的 checkpoint 恢复整个作业的状态。通过回滚到之前的状态快照，并重新处理从上次成功 checkpoint 后的所有输入数据，可以确保没有数据丢失或重复处理。
Idempotent Writes：对于某些无法参与 2PC 的外部系统，Flink 支持幂等写入的方式。幂等意味着相同的输入总是会产生相同的结果，因此即使数据被多次处理，也不会影响最终结果的正确性。
End-to-End Exactly-Once Semantics：要实现端到端的精确一次语义，不仅 Flink 内部需要支持 EXACTLY_ONCE，而且任何外部系统也必须能够配合 Flink 来保持这一特性。例如，Kafka 连接器可以通过事务性生产者来确保消息不会被重复消费。