flink架构师5-CEP、一致性、YARN

一 、 CEP 0：18~1：10

二、一致性保证 1：10 ~2：25

1. 我们使用FlinkKafkaConumser,并且启用Checkpoint，偏移量会通过checkpoint保存到state里
   面，并且默认会写入到kafka的特殊主体中，也就是__consumer_offset

2. setCommitOffsetsOnCheckpoints 默认会true，就是把偏移量写入特殊主题中

3. Flink自动重启的过程中，读取的偏移量是state中的偏移量，如果state里面没有那么从
   __consumer_offset里读取偏移量，如果__consumer_offset里面没有那么就会从earliest或者lastest读取数据

redis通过幂等性实现仅一次语义

4.1.5 写kafka保证Exactly once

两阶段提交
Flink的两阶段提交
核心源码
通过幂等性实现仅一次语义
在分布式系统中，可以使用两阶段提交来实现事务性从而保证数据的一致性，两阶段提交分为：预提交阶段与
提交阶段，通常包含两个角色：协调者与执行者，协调者用于用于管理所有执行者的操作，执行者用于执行具
体的提交操作，具体的操作流程：

1. 首先协调者会送预提交(pre-commit)命令有的执行者
2. 执行者执行预提交操作然后发送一条反馈(ack)消息给协调者
3. 待协调者收到所有执行者的成功反馈，则发送一条提交信息(commit)给执行者
4. 执