Source 端:
Kafka作为Source,将偏移量保存下来,如果任务出现故障,可以根据偏移量重新消费数据,保证一致性。
Flink 内部:
利用Checkpoint机制,将状态保存下来,发生故障的时候可以恢复,保证内部状态的一致性。
Sink 端:
Sink端最复杂,数据离开Flink之后Flink就监控不到了,因此外部存储系统需要支持允许提交和回滚的写入操作,同时还要保证与Flink Checkpoint能够协调使用。
如果Sink端是Kafka,可以使用Kafka的事实性保证Sink端的一致性。
两阶段提交:
- Fink消费kafka的数据后,就会开启一个kafka事务,正常写入kafka分区日志但标记为未提交,这就是预提交。
- 一旦所有算子完成各自的预提交,它们会发起一个commit操作。
- 如果任意一个预提交失败,所有其他的预提交必须停止,并且Flink会回滚到最近完成的checkpoint。
- 当所有的算子完成任务后,Sink端就会收到checkpoint barrier ,Sink端保存当前状态,存入Checkpoint,通知JobManager,并提交外部事务,用于提交外部检查点的数据。
- JobManager收到所有任务的通知,发出确认信息,表示Checkpoint已完成,Sink端收到JobManager的确认信息,正式提交这段时间的数据。
- 外部系统关闭事务,提交的数据正常消费。