大家好,我是土哥。
今天为大家带来 Flink checkpoint 核心知识点以优化方案,本文主要从以下几方面进行介绍:
1 Checkpoint 执行流程
2 checkpoint 执行失败问题分析
3 非对齐checkpoint 优化方案
4 动态调整 buffer 大小
5 通用增量快照
1 checkpoint 执行流程
如上图所示,chechpoint 在执行过程中,可以简化为可以简化为以下四大步:
- 在数据流中插入 checkpoint barrier;
- 每执行到当前算子时,对算子 state 状态进行同步快照与异步上传;
- 当算子是多输入时,要进行 barrier 对其操作;
- 所有算子状态都已上传,确认 checkpoint 完成;