kafka-flink-kafka端到端状态一致性的保证

内部 —— 利用 checkpoint 机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性

source —— kafka consumer 作为 source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性

flink在消费kafka的数据时，在恢复状态时并不会使用kafka自己维护的offset，假设：使用kafka自己维护的offset，当从kafka消费的数据没有处理完时flink出现故障，flink恢复状态从kafka维护的offset消费的话，会丢失在flink中未处理的数据，所有这样是不合理的。
当flink故障时，flink恢复状态时，会从上次flink 的source保存的状态获取到上次消费的位置（即上次检查点界限位置），并且从该位置消费kafka的数据

sink —— kafka producer 作为sink，采用两阶段提交 sink，需要实现一个 TwoPhaseCommitSinkFunction
步骤：
第一条数据来了之后，开启一个 kafka 的事务（transaction），正常写入 kafka 分区日志但标记为未提交，这就是“预提交”
jobmanager 触发 checkpoint 操作，barrier 从 source 开始向下传递，遇到 barrier 的算子将状态存入状态后端，并通知 jobmanager
sink 连接器收到 barrier，保存当前状态，存入 checkpoint，通知 jobmanager，并开启下一阶段的事务，用于提交下个检查点的数据
jobmanager 收到所有任务的通知，发出确认信息，表示 checkpoint 完成
sink 任务收到 jobmanager 的确认信息，正式提交这段时间的数据
外部kafka关闭事务，提交的数据可以正常消费了。