Python微信订餐小程序课程视频
https://edu.csdn.net/course/detail/36074
Python实战量化交易理财系统
https://edu.csdn.net/course/detail/35475
本文源码基于flink1.14
在帮助用户排查任务的时候,经常会发现部分task处理的慢,在Exactly once语义时需要等待快照的对齐而白白柱塞的情况
在flink1.11版本引入了非对齐的checkpoint,来解决这种柱塞问题,所以来看看这个新特性的源码是如何实现的
先看下官网的图来总的说下实现原理,再来看看源码
flink是基于Chandy-Lamport算法来实现全局快照的,其核心就是在数据中间穿插barrier
当一个task上游同一批次所有的barrier到齐时,就可以触发快照状态的保存了,问题就是出在这里,等待对齐
来看下上面官网的图,是官网优化的一个具体思路
当某task的第一个barrier到时,那内部当前批次的状态必然是不完整的,那多久才算完整呢,等到这批checkpoint的数据全部都到齐都处理完,那状态就完整了
那当第一个barrier到的时候,剩下没到的数据在哪呢,