时间语义介绍

抽着烟吃鸡

于 2024-01-23 20:58:45 发布

阅读量358

点赞数 7

文章标签：大数据 flink

本文链接：https://blog.csdn.net/m0_73814022/article/details/135788926

版权

介绍

在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一
般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的
窗口计算。所以窗口和时间往往是分不开的。

Flink 中的时间语义

在这里插入图片描述
我们来梳理一下流式数据处理的过程。如图所示，在事件发生之后，生成的数据被收
集起来，首先进入分布式消息队列，然后被Flink系统中的Source算子读取消费，进而向下游
的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。
很明显，这里有两个非常重要的时间点：一个是数据产生的时间，我们把它叫作“事件时
间”（Event Time）；另一个是数据真正被处理的时刻，叫作“处理时间”（Processing Time）。
我们所定义的窗口操作，到底是以那种时间作为衡量标准，就是所谓的“时间语义”（Notions
82
of Time）。由于分布式系统中网络传输的延迟和时钟漂移，处理时间相对事件发生的时间会有
所滞后。

1. 处理时间（Processing Time）

处理时间的概念非常简单，就是指执行处理操作的机器的系统时间。
在这种时间语义下处理窗口非常简单粗暴，不需要各个节点之间进行协调同步，也不需要
考虑数据在流中的位置，简单来说就是“我的地盘听我的”。所以处理时间是最简单的时间语义。

2. 事件时间（Event Time）

事件时间，是指每个事件在对应的设备上发生的时间，也就是数据生成的时间。
数据一旦产生，这个时间自然就确定了，所以它可以作为一个属性嵌入到数据中。这其实
就是这条数据记录的“时间戳”（Timestamp）。
在事件时间语义下，我们对于时间的衡量，就不看任何机器的系统时间了，而是依赖于数
据本身。但是由于分布式系统中网络传输延迟的不确定性，实际应用中我们要面对的数据流往
往是乱序的。在这种情况下，就不能简单地把数据自带的时间戳当作时钟了，而需要用另外的
标志来表示事件时间进展，在Flink中把它叫作事件时间的“水位线”（Watermarks）。