Flink窗口机制

文章目录

（一）窗口分类

（二）

一、窗口分类

• 键控窗口 和 非键控窗口
• 时间窗口 和 计数窗口
• 滑动窗口 和 滚动窗口
• 会话窗口

根据窗口不同的分类规则，大致可以分为上面几种。从上至下，更加具体。比如，键控窗口和非键控窗口都可以调定义时间窗口和计数窗口；而时间窗口和计数窗口，都可以定义滑动窗口和滚动窗口；另外，在时间窗口中，还有一个特例，就是会话窗口。

二、键控窗口 和 非键控窗口

根据在开窗之前，是否执行了 keyBy() 操作，分为 键控窗口 和 非键控窗口。

顾名思义，键控窗口，作用在键控流上，具有相同key的数据流到一个逻辑流中，后续调用 window()或timeWindow()、countWindow()，使用的都是键控窗口；非键控窗口，作用在非键控流上，原始流不会拆分成多个流。

注意，在键控流上，具有相同key的数据流到一个逻辑流中，由后续的同一个subtask处理，同时，同一个subtask上可能会处理多个key的逻辑流；非键控窗口，作用在非键控流上，原始流不会拆分成多个流，所有窗口的逻辑由单个任务执行，即并行度为1，所有数据都由同一个subtask处理。所以，在非键控窗口上设置并行度并不会很好地改善并行处理能力，因为所有的数据都由一个subtask处理，并没有提高并行处理能力。

如果在后续调用自定义窗口，键控窗口Function 继承的是 RichWindowFunction，非键控窗口Function 继承的是 RichAllWindowFunction。

三、时间窗口 和 计数窗口

时间窗口，根据时间来划分窗口，可以是时间时间eventTime，也可以是处理时间processTime；计数窗口，根据数据量划分窗口。

四、滑动窗口 和 滚动窗口

时间窗口 和 计数窗口上，都可以使用滑动窗口 和 滚动窗口。

滑动窗口：设置窗口大小 和 滑动步长，数据可能会重复(size>slide)，也可能会遗漏(size>slide),也可能数据既不重复，也不遗漏(size=slide)。

滚动窗口：设置窗口大小。数据不会重复，也不会遗漏。

下面举例说明

1、滑动时间窗口

size=10s，slide=5s，每5秒计算最近10秒钟的数据，每个窗口会有5秒钟的数据和上一个窗口重复；

size=5s，slide=10s，每10秒计算最近5秒钟的数据，每个窗口触发计算时，会有5s的数据遗漏，没有被计算到；

 

size=10s，slide=10s，每10秒计算最近10秒钟的数据，每个窗口会的数据和上一个窗口都不会重复；

 

2、滚动时间窗口

设置窗口长度，每个窗口关闭之后，往后滚动，开始下一个窗口；类似于窗口长度和滑动步长相同的滑动时间窗口；

 3、计数滑动窗口

和时间没有关系，只跟数据量有关系。

size=5，slide=2，每2条计算最近5条数据，每个窗口会有3条数据和上一个窗口重复；

 size=2，slide=5，每5条计算最近2条数据，每个窗口会有3条数据遗漏，没有计算到；

 size=5，slide=5，每5条计算最近5条数据，每个窗口的数据和上个窗口数据都不会重复，同时数据也不会遗漏；

4、滚动时间窗口

 设置窗口长度，每个窗口关闭之后，往后滚动，开始下一个窗口；类似于窗口长度和滑动步长相同的滑动计数窗口；

五、会话窗口

会话窗口，只存在于时间窗口中，在指定的时间间隔内，没有新的数据进来，则关闭窗口，执行计算逻辑。

六、窗口类型结构图

 

以上，是对窗口学习的简单总结。如有不同见解，欢迎交流。