Flink教程(21) EventTime事件时间 Watermark水位线 注意点

一、前言

Flink中窗口、事件时间、水位线都是很重要的概念，网上介绍他们的博客非常多。

我就没有必要像写八股文那样再写一遍。

窗口、事件时间、水位线这3个东西放在一起，他们其实解决一个问题，那就是

窗口在什么时候关闭，并触发计算？

下面就扯一扯关于这个问题的注意点。

二、事件时间

1. 时间一定是精确到毫秒

在数据流中，表示事件时间的格式多种多样。

可能是精确到秒的yyyy-MM-dd HH:mm:ss或者长整型如1611076383。

但是Flink中的时间一定到精确到毫秒。

在分配时间戳和水位线调用assignTimestampsAndWatermarks的时候，一定要注意extractTimestamp的返回值是long，是要精确到毫秒。

2. 注意时区问题，我们在东八区

时间戳是从1970年1月1日0时0分0秒开始的，但是它是指的伦敦时间。我们中国常用的时间是东八区时间。

就是我们这边的时间和伦敦时间差8个小时。

我们获取数据流中的时间通常是东八区的时间，但如果Flink划分窗口是按照一天划分窗口，按照伦敦时间划分，那么这个时间窗口是有问题的。

所以对于这个时间在读取数据源时，对时间处理下，或者Flink有这个设置时区的功能话就设置下。

3. 时间窗口是左闭右开

时间窗口是有开始时间、结束时间的。

例如一个窗口是10:00:00 到10:10:00，窗口长度是10分钟。

但是事件时间是10:10:00整的数据，不属于这个窗口。

本窗口的最大时间戳 = 结束时间 - 1ms，窗口是左闭右开的。

4. 时间窗口的开始时间如何计算？

时间窗口的开始时间如何计算？

例如一个事件时间窗口长度是10分钟。

此时10:05:00的事件时间数据来了，Flink如何划分窗口呢？计算公式如下：

start = timestamp - (timestamp - offset + windowSize) %windowSize

offset偏移量默认为0。

(10:05 - 0 + 10分钟) %10分钟 = 5分钟，因为一个小时都是10分钟的整数倍

10:05 - 5分钟 = 10:00，说明窗口是从10:00开始，到10:10结束。

5. Flin1.12开始，默认时间特性是事件时间

Flin1.12开始，默认时间特性是事件时间。

你会发现下面的语句提示已经过时了。

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

用新的时间窗口分配器来指定用的是事件时间还是处理时间

.window(TumblingProcessingTimeWindows.of(Time.seconds(5)))

.window(TumblingEventTimeWindows.of(Time.seconds(30)))

三、水位线

1. 水位线的特点

• 水位线是用来解决数据乱序问题，本身是一个特殊的时间戳
• 水位线单调递增的，Flink认为事件时间早于水位线的数据都来了

2. 水位线控制窗口何时结束

当前的watermark >= 窗口的最大时间戳时，窗口关闭。

在之前的博客Flink教程(7)时间特性、窗口、Watermark代码实践有水位线的图解。