atguigu@Flink中的时间语义@Watermark@Window

最新推荐文章于 2025-05-23 17:39:14 发布

0_nujiyuh

最新推荐文章于 2025-05-23 17:39:14 发布

阅读量125

点赞数

文章标签： flink java 数据库

本文链接：https://blog.csdn.net/weixin_45207751/article/details/131260635

版权

文章详细介绍了Flink中的时间语义，包括EventTime、IngestionTime和ProcessingTime，强调了Watermark在处理乱序数据中的重要性，以及Watermark的特性。同时，文章还概述了不同类型的窗口操作，如滚动窗口、滑动窗口和会话窗口，及其应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink各版本的官方文档连接

Flink 1.10
Flink 1.11
Flink 1.12
Flink 1.13

Time

Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。

Ingestion Time：是数据进入 Flink 的时间。

Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是 Processing Time。

水位线（Watermark）

怎样避免乱序数据带来计算不正确？

1、遇到一个时间戳达到了窗口关闭时间，不应该立刻去触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口。

2、Watermark是一种衡量event time进展的机制，可以设定延迟触发。

3、Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermaek机制结合window来实现。

4、数据流中的watermark用于表示timestamp小于watermark的数据，都已经到达了，因此，window的执行也是由watermark触发的。

5、Watermark用来让程序自己平衡延迟和结果正确性。

Watermark的特点

1、watermark一条特殊的数据记录

2、watermark必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退

3、watermark与数据的时间戳相关

Watermark的传递

窗口（Window）

1、时间语义，要配合窗口操作才能发挥作用

2、在TableAPI和SQL中，主要有两种窗口：

Group Windows（分组窗口）

-根据时间或行计数间隔，将行聚合到有限的组（Group）中，并对每个组的数据执行一次聚合函数

-Group windows是使用window(w:GroupWindow)子句定义的，并且必须由as子句指定一个别名

-为了按窗口对表进行分组，窗口的别名必须在group by子句中，像常规的分组字段一样引用

-Table API提供了一组具有特定语义的预定义window类，这些类会被转换为底层DataStream或DataSet的窗口操作

滚动窗口（Tumbing windows）

-滚动窗口要用Tumble类来定义

//Tumbling Event-time Window

.window(Tumble.over(“10.minutes”).on(“rowtime”).as(“w”))

 

//Tumbling Processing-time Window

.window(Tumble.over(“10.minutes”).on(“proctime”).as(“w”))

 

//Tumbling Row-count Window

.window(Tumble.over(“10.rows”).on(“proctime”).as(“w”))

滑动窗口（Sliding windows）

-滑动窗口要用Slide类来定义

//Sliding Event-time Window

.window(Slide.over(“10.minutes”).every(“5.minutes”).on(“rowtime”).as(“w”))

 

//Sliding Processing-time Window

.window(Slide.over(“10.minutes”).every(“5.minutes”).on(“proctime”).as(“w”))

 

//Sliding Row-count Window

.window(Slide.over(“10.rows”).every(“5.rows”).on(“proctime”).as(“w”))

会话窗口(Session )

Over Windows

-针对每个输入行，计算相邻范围内的聚合

CountWindow：按照指定的数据条数生成一个 Window，与时间无关。

TimeWindow：按时间生成Window。

对于 TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。

1、滚动窗口（Tumbling Window）

将数据依据固定的窗口长度对数据进行切片。

特点：时间对齐，窗口长度固定，没有重叠。

滚动窗口分配器将每个元素分配到一个指定窗口大小的窗口中，滚动窗口有一个固定的大小，并且不会出现重叠。例如：如果你指定了一个 5 分钟大小的滚动窗口，窗口的创建如下图所示：

适合场景：适合做 BI 统计等（做每个时间段的聚合计算）。

2、滑动窗口（Sliding Window）

滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动

间隔组成。

特点：时间对齐，窗口长度固定，有重叠。

滑动窗口分配器将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。因此，滑动窗口如果滑动参数小于窗口大小的话，窗口是可以重叠的，在这种情况下元素会被分配到多个窗口中。

例如，你有 10 分钟的窗口和 5 分钟的滑动，那么每个窗口中 5 分钟的窗口里包含着上个 10 分钟产生的数据，如下图所示：

适用场景：对最近一个时间段内的统计（求某接口最近 5min 的失败率来决定是否要报警）。

3、会话窗口（Session Window）

由一系列事件组合一个指定时间长度的 timeout 间隙组成，类似于 web 应用的session，也就是一段时间没有接收到新数据就会生成新的窗口。

特点：时间无对齐。

session 窗口分配器通过 session 活动来对元素进行分组，session 窗口跟滚动窗口和滑动窗口相比，不会有重叠和固定的开始时间和结束时间的情况，相反，当它在一个固定的时间周期内不再收到元素，即非活动间隔产生，那个这个窗口就会关闭。一个 session 窗口通过一个 session 间隔来配置，这个 session 间隔定义了非活跃周期的长度，当这个非活跃周期产生，那么当前的 session 将关闭并且后续的元素将被分配到新的 session 窗口中去。