Flink 知识笔记整理

目录

前文：

一、概念

1.1 架构及调度

1.2 执行图

         1.3 基本流程

二、状态与容错

2.1 状态一致性

2.2 Checkpoint与Savepoint

2.3 State Backends

2.4 State

三、API

3.1 参数及变量

3.2 DataStream API

3.3 DataSet API 

3.4 Table API

四、Watermark与window

4.1 Watermark

4.2 window

五、其他特性

5.1 CEP

---

前文：

                  流式处理的王者，适应各种复杂场景。

                  相关代码案例：https://github.com/CesarChoy/flinkdemo

一、概念

1.1 架构及调度

1.2 执行图

1.3 基本流程

 

二、状态与容错

2.1 状态一致性

备注：业务的保证，数据一致性的基石。

2.2 Checkpoint与Savepoint

备注：Checkpoint设置检查点(保存参数)，savepoint用于手动中断恢复作业。

2.3 State Backends

备注：算子状态保存的位置。

2.4 State

备注：算子状态

 

 

三、API

3.1 参数及变量

备注：程序获取公共参数到传递参数

3.2 DataStream API

备注：底层自定义代码

3.3 DataSet API 

备注：不同的启动环境，调用的API不同

互转：

3.4 Table API

两种Planner的区别：1.10版本完成迭代

 

 

四、Watermark与window

4.1 Watermark

备注：如果是事件时间需要设置watermark

4.2 window

备注：在时间语义下，可以划分窗口。

五、其他特性

5.1 CEP

备注：优秀的机制可以应用于各种复杂的事件监控场景。