Flink的窗口函数

Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”，我们可以在其上应用计算。

窗口分为Keyed Windows与Non-Keyed Windows，

Keyed Windows:

stream
       .keyBy(...)               <-  keyed versus non-keyed windows
       .window(...)              <-  required: "assigner"
      [.trigger(...)]            <-  optional: "trigger" (else default trigger)
      [.evictor(...)]            <-  optional: "evictor" (else no evictor)
      [.allowedLateness(...)]    <-  optional: "lateness" (else zero)
      [.sideOutputLateData(...)] <-  optional: "output tag" (else no side output for late data)
       .reduce/aggregate/fold/apply()      <-  required: "function"
      [.getSideOutput(...)]      <-  optional: "output tag"

Non-Keyed Windows:

stream
       .windowAll(...)           <-  required: "assigner"
      [.trigger(...)]            <-  optional: "trigger" (else default trigger)
      [.evictor(...)]            <-  optional: "evictor" (else no evictor)
      [.allowedLateness(...)]    <-  optional: "lateness" (else zero)
      [.sideOutputLateData(...)] <-  optional: "output tag" (else no side output for late data)
       .reduce/aggregate/fold/apply()      <-  required: "function"
      [.getSideOutput(...)]      <-  optional: "output tag"

 

 Keyed Windows包括：Tumbling Windows（滚动窗口）、Sliding Windows（滑动窗口）、Session Windows（会话窗口）、Global Windows（全局窗口），实例代码全部为event-time。

翻滚窗口：

滚动窗口：分配器将每个元素分配给具有指定窗口大小的窗口。滚动窗口有固定的大小和不重叠。 

val input: DataStream[T] = ...

// tumbling event-time windows
input
    .keyBy(<key selector>)
    .window(TumblingEventTimeWindows.of(Time.seconds(5))) //定义时间类型（event-time），还可以是process-time,或者event-time+偏移
    .<windowed transformation>(<window function>)

滑动窗口： 滑动窗口分配者将元素分配给固定长度的窗口。类似于滚动窗口分配，窗口的大小是由窗口大小参数配置。另一个窗口滑动参数控制滑动窗口启动的频率。因此，如果滑动窗口小于窗口大小，则滑动窗口可能会重叠。在这种情况下，元素被分配给多个窗口。

val input: DataStream[T] = ...

// sliding event-time windows
input
    .keyBy(<key selector>)
    .window(SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5)))
    .<windowed transformation>(<window function>)

会话窗口：会话窗口分配者按活动的会话对元素进行分组。与滚动窗口和滑动窗口相比，会话窗口没有重叠，也没有固定的开始和结束时间。相反，当会话窗口在一段时间内没有接收元素时，即当出现不活动的间隙时，它将关闭。会话窗口分配器可以配置为静态会话间隙，也可以配置为会话间隙提取器函数，该函数定义了不活动的时间有多长。当此周期到期时，当前会话关闭，并将后续元素分配给新的会话窗口。

val input: DataStream[T] = ...

// event-time session windows with static gap
input
    .keyBy(<key selector>)
    .window(EventTimeSessionWindows.withGap(Time.minutes(10)))
    .<windowed transformation>(<window function>)

 

全局窗口：全局窗口分配器将具有相同键的所有元素分配给同一个全局窗口。此窗口模式仅在您指定自定义触发器时才有用。否则，将不执行任何计算。

示例代码：略