大数据开发-Flink-窗口全解析

Flink窗口背景

Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲，Window是用来对一个无限的流设置一个有限的集合，从而在有界的数据集上进行操作的一种机制。流上的集合由Window来划定范围，比如“计算过去10分钟”或者“最后50个元素的和”。Window可以由时间（Time Window）（比如每30s）或者数据（Count Window）（如每100个元素）驱动。DataStream API提供了Time和Count的Window。

一个Flink窗口应用的大致骨架结构如下所示：

// Keyed Window
stream
  .keyBy(...)               <-  按照一个Key进行分组
  .window(...)              <-  将数据流中的元素分配到相应的窗口中
  [.trigger(...)]            <-  指定触发器Trigger（可选）
  [.evictor(...)]            <-  指定清除器Evictor(可选)
    .reduce/aggregate/process()      <-  窗口处理函数Window Function
// Non-Keyed Window
stream
  .windowAll(...)           <-  不分组，将数据流中的所有元素分配到相应的窗口中
  [.trigger(...)]            <-  指定触发器Trigger（可选）
  [.evictor(...)]            <-  指定清除器Evictor(可选)
    .reduce/aggregate/process()      <-  窗口处理函数Window Function

Flink窗口的骨架结构中有两个必须的两个操作：

• 使用窗口分配器（WindowAssigner）将数据流中的元素分配到对应的窗口。
• 当满足窗口触发条件后，对窗口内的数据使用窗口处理函数（Window Function）进行处理，常用的Window Function有reduce、aggregate、process

滚动窗口

基于时间驱动

将数据依据固定的窗口长度对数据进行切分，滚动窗口下窗口之间之间不重叠，且窗口长度是固定的。我们可以用TumblingEventTimeWindows和TumblingProcessingTimeWindows创建一个基于Event Time或Processing Time的