深入浅出Flink 08 之 容错机制

String topic="nxtest"; 
Properties consumerProperties = new Properties(); 
consumerProperties.setProperty("bootstrap.servers","192.168.152.102:9092"); 
consumerProperties.setProperty("group.id","testConsumer"); 
consumerProperties.setProperty("auto.offset.reset"," earliest"); 
FlinkKafkaConsumer011<String> myConsumer = new FlinkKafkaConsumer011<>(topic, new SimpleStringSchema(), consumerProperties);
 //是否把偏移量提交到kafka的特殊topic里，默认是true 
 myConsumer.setCommitOffsetsOnCheckpoints(true); 
 DataStreamSource<String> data = env.addSource(myConsumer).setParallelism(3);

结论

1. 我们使用FlinkKafkaConumser,并且启用Checkpoint，偏移量会通过checkpoint保存到state里 面，并且默认会写入到kafka的特殊主体中，也就是__consumer_offset 

2.  setCommitOffsetsOnCheckpoints 默认会true，就是把偏移量写入特殊主题中 

3.  Flink自动重启的过程中，读取的偏移量是state中的偏移量 

4. 我们手动重启任务的过程中，默认读取的是__consumer_offset中的偏移量，如果 __consumer_offset里面没有那么默认就会从earliest读取数据

sink



结论 通过幂等性实现仅一次语义
写kafka保证Exactly once
两阶段提交

在分布式系统中，可以使用两阶段提交来实现事务性从而保证数据的一致性，两阶段提交分为：
预提交阶段与 提交阶段，
通常包含两个角色：协调者与执行者，
协调者用于用于管理所有执行者的操作，执行者用于执行具 体的提交操作，具体的操作流程： 
5. 首先协调者会送预提交(pre-commit)命令有的执行者
6. 执行者执行预提交操作然后发送一条反馈(ack)消息给协调者
7. 待协调者收到所有执行者的成功反馈，则发送一条提交信息(commit)给执行者 
8. 执行者执行提交操作 如果在流程2中部分预提交失败，那么协调者就会收到一条失败的反馈，则会发送一条rollback消息给所有执 行者，执行回滚操作，保证数据一致性；
但是如果在流程4中，出现部分提交成功部分提交失败，那么就会造 成数据的不一致，因此后面也提出了3PC或者通过其他补偿机制来保证数据最终一致性，接下看看flink 是如 何做到2PC，保证数据的一致性。 flink的流程大概与这个流程相似

flink的两阶段提交

flink中两阶段提交是为了保证端到端的Exactly Once，主要依托checkpoint机制来实现，先看一下 checkpoint的整体流程， 
1.JobManager会周期性的发送执行checkpoint命令(start checkpoint)；
2.当source端收到执行指令后会产生一条barrier消息插入到input消息队列中，当处理到barrier时 会执行本地checkpoint, 并且会将barrier发送到下一个节点，当checkpoint完成之后会发送一条ack信 息给JobManager; 
3.当所有节点都完成checkpoint之后，JobManager会收到来自所有节点的ack信息，那么就表示一次 完整的checkpoint的完成； 
4.JobManager会给所有节点发送一条callback信息，表示通知checkpoint完成消息。
接下来就可以 提交事务了 对比flink整个checkpoint机制调用流程可以发现与2PC非常相似，JobManager相当于协调者，flink提 供了CheckpointedFunction与CheckpointListener这样两个接口，CheckpointedFunction中有 snapshotState方法，每次checkpoint触发执行方法，通常会将缓存数据放入状态中，
可以理解为是一个 hook，这个方法里面可以实现预提交，CheckpointListener中有notifyCheckpointComplete方法， checkpoint完成之后的通知方法，这里可以做一些额外的操作，比如真正提交kafka的事务；
在2PC中提到 如果对应流程2预提交失败，那么本次checkpoint就被取消不会执行，不会影响数据一致性.如果流程4失 败，那么重启的时候会再次执行commit