端到端的一致性

flink
1.端到端的一致性

• Source 端：

Kafka作为Source，将偏移量保存下来，如果任务出现故障，可以根据偏移量重新消费数据，保证一致性。

• Flink 内部：

利用Checkpoint机制，将状态保存下来，发生故障的时候可以恢复，保证内部状态的一致性。

• Sink 端：

Sink端最复杂，数据离开Flink之后Flink就监控不到了，因此外部存储系统需要支持允许提交和回滚的写入操作，同时还要保证与Flink Checkpoint能够协调使用。

如果Sink端是Kafka，可以使用Kafka的事实性保证Sink端的一致性。
两阶段提交：

1. Fink消费kafka的数据后，就会开启一个kafka事务，正常写入kafka分区日志但标记为未提交，这就是预提交。
2. 一旦所有算子完成各自的预提交，它们会发起一个commit操作。
3. 如果任意一个预提交失败，所有其他的预提交必须停止，并且Flink会回滚到最近完成的checkpoint。
4. 当所有的算子完成任务后，Sink端就会收到checkpoint barrier ，Sink端保存当前状态，存入Checkpoint，通知JobManager，并提交外部事务，用于提交外部检查点的数据。
5. JobManager收到所有任务的通知，发出确认信息，表示Checkpoint已完成，Sink端收到JobManager的确认信息，正式提交这段时间的数据。
6. 外部系统关闭事务，提交的数据正常消费。