Flink checkpoint原理

目录

 

1. checkpoint与state的关系

2. Flink中的state

2.1 state分类

2.1.1 keyed state

2.1.2 operator state

2.1.3 从Flink是否直接接管的角度来区分state

2.2 在Flink中使用state

2.2.1通过RuntimeContext访问state

2.2.2 通过FunctionInitialzationContext访问state

2.3 状态state的存储

3. Flink中的checkpoint执行机制详解

4 . checkpoint 的exactly_once语义

5. Savepoint和externalized checkpoint的区别

6. 参考链接

---

1. checkpoint与state的关系

state就是checkpoint所做的主要持久化备份的主要数据

2. Flink中的state

state主要分为keyed state和operator state

2.1 state分类

2.1.1 keyed state

 

2.1.2 operator state

又称non-keyed state，与一个operator的实例绑定；常见的operator state是source state，例如记录当前source的offset。

例如 env.fromElements(WordCountData.WORDS)。fromeElements会调用FromElementsFunction的类，其中就使用了类型为lis