flink学习-5（Stream Windows）

什么是window？

在流式的数据，可以人为数据是源源不断水流，无穷无尽，我如何要对数据流速进行评估，如果统计总计流过的数据流量，如何进行计算，根本原因在于流是无界的，虽然我们不能限制流，但是可以在一段数据上开窗，在这一段数据上可以将数据流看做是有界的数据。

1. 滚动窗口
   这个时候我们定义一个window（窗口），假设窗口的界限是1分钟，且每分钟的数据互不打扰，这种的窗口可视作滚动窗口，查看一个小时的数据，则是查看60个窗口内数据总和。
2. 滑动窗口
   还有一种，我们每30秒统计一次近1分钟的数据量，这种窗口则是滑动窗口，一个小时则会有120个window

window 作用

window简单来说就是将无限流数据集，造就局部的有限数据集方面进行一些操作的机制，window可以基于时间，也可以基于数量。

flink中的window

Flink DataStream API 提供了 Time 和 Count 的 window，同时增加了基于 Session 的 window。同时，由于某些特殊的需要，DataStream API 也提供了定制化的 window 操作，供用户自定义 window

1. Time Windows
   Time Windows 根据时间来聚合流数据。例如：一分钟的 tumbling time window 收集一分钟的元素，并在一分钟过后对窗口中的所有元素应用于一个函数。

data.keyBy(1)
   .timeWindow(Time.minutes(1)) //tumbling time window 每分钟统计一次数量和
   .sum(1);

data.keyBy(1)
   .timeWindow(Time.minutes(1), Time.seconds(30)) //sliding time window 每隔 30s 统计过去一分钟的数量和
   .sum(1);

2. Count Windows
   Flink 还提供计数窗口功能。如果计数窗口设置的为 100 ，那么将会在窗口中收集 100 个事件，并在添加第 100 个元素时计算窗口的值

data.keyBy(1)
	.countWindow(100) //统计每 100 个元素的数量之和
	.sum(1);

data.keyBy(1) 
	.countWindow(100, 10) //每 10 个元素统计过去 100 个元素的数量之和
	.sum(1);

flink 窗口机制

到达窗口操作符的元素被传递给 WindowAssigner。WindowAssigner 将元素分配给一个或多个窗口，可能会创建新的窗口。
窗口本身只是元素列表的标识符，它可能提供一些可选的元信息，例如 TimeWindow 中的开始和结束时间。注意，元素可以被添加到多个窗口，这也意味着一个元素可以同时在多个窗口存在。

每个窗口都拥有一个 Trigger(触发器)，该 Trigger(触发器) 决定何时计算和清除窗口。当先前注册的计时器超时时，将为插入窗口的每个元素调用触发器。在每个事件上，触发器都可以决定触发(即、清除(删除窗口并丢弃其内容)，或者启动并清除窗口。一个窗口可以被求值多次，并且在被清除之前一直存在。注意，在清除窗口之前，窗口将一直消耗内存。

当 Trigger(触发器) 触发时，可以将窗口元素列表提供给可选的 Evictor，Evictor 可以遍历窗口元素列表，并可以决定从列表的开头删除首先进入窗口的一些元素。然后其余的元素被赋给一个计算函数，如果没有定义 Evictor，触发器直接将所有窗口元素交给计算函数。

计算函数接收 Evictor 过滤后的窗口元素，并计算窗口的一个或多个元素的结果。 DataStream API 接受不同类型的计算函数，包括预定义的聚合函数，如 sum（），min（），max（），以及 ReduceFunction，FoldFunction 或 WindowFunction。

这些是构成 Flink 窗口机制的组件。 接下来我们逐步演示如何使用 DataStream API 实现自定义窗口逻辑。 我们从 DataStream [IN] 类型的流开始，并使用 key 选择器函数对其分组，该函数将 key 相同类型的数据分组在一块。

参考文档

http://www.54tianzhisheng.cn/2018/12/08/Flink-Stream-Windows/