大数据Flink（七十四）：SQL的滑动窗口（HOP）

Flink SQL滑动窗口（HOP）详解
最新推荐文章于 2025-08-25 15:33:27 发布
最新推荐文章于 2025-08-25 15:33:27 发布
阅读量1.8k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据入门核心技术 # Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/132725698
本文介绍了Flink中SQL的滑动窗口（HOP）概念，包括窗口定义、参数设置以及在批处理和流处理模式下的应用。通过实例展示了如何使用Group Window Aggregation和Windowing TVF进行滑动窗口操作，用于计算如同时在线用户等场景。

文章目录

SQL的滑动窗口（HOP）

SQL的滑动窗口（HOP）

滑动窗口定义：滑动窗口也是将元素指定给固定长度的窗口。与滚动窗口功能一样，也有窗口大小的概念。不一样的地方在于，滑动窗口有另一个参数控制窗口计算的频率（滑动窗口滑动的步长）。因此，如果滑动的步长小于窗口大小，则滑动窗口之间每个窗口是可以重叠。在这种情况下，一条数据就会分配到多个窗口当中。举例，有 10 分钟大小的窗口，滑动步长为 5 分钟。这样，每 5 分钟会划分一次窗口，这个窗口包含的数据是过去 10 分钟内的数据，如下图所示。

 

在流模式下，时间属性字段必须是

了解本专栏 订阅专栏 解锁全文
大数据Flink（七十三）：SQL的滚动窗口（TUMBLE）
Lansonli（蓝深李）的博客
09-05 1595
（TUMBLE 算子）：接收到上游算子发的一条一条的数据，然后将每一条数据按照时间戳划分到对应的窗口中（根据事件时间、处理时间的不同语义进行划分），上述案例为事件时间，事件时间中，滚动窗口算子接收到上游的 Watermark 大于窗口的结束时间时，则说明当前这一分钟的滚动窗口已经结束了，将窗口计算完的结果发往下游算子（一条一条发给下游。数据源算子（From Order）：连接到 Kafka topic，数据源算子一直运行，实时的从 Order Kafka 中一条一条的读取数据，然后一条一条发送给下游的。
FlinkSql-滚动窗口-滑动窗口-追加模式/缩进模式
someInNeed的博客
02-27 749
滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；（2）编写socket代码，模拟数据发送。（1）准备一个实体对象，消息对象。
FlinkSql中的窗口
qq_42456324的博客
11-30 4301
通过截取有限数据集来处理无限的流数据。
Flink SQL
awonima的博客
03-11 506
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
Flink 之 滚动窗口/滑动窗口/会话窗口/OVER窗口
实践出真知
08-05 3332
数据处理方式流式计算：数据是连续不断地到达的，OVER窗口函数会在数据流中实时地计算窗口结果。每当新数据到达时，窗口计算会实时更新。批计算：数据是一次性读取并处理的，OVER窗口函数会在整个数据集上一次性计算窗口结果。所有数据都读取完毕后，窗口计算才会开始。计算延迟流式计算：适用于需要低延迟、实时更新的场景。计算结果会随着数据的到达实时更新。批计算：适用于数据量较大、对计算延迟要求不高的场景。计算结果在所有数据读取完毕后一次性计算。状态管理流式计算：需要持续管理状态，因为数据是不断到达的。
SQL滑动窗口
qq_45849148的博客
08-10 1726
窗口函数，也叫OLAP函数（Online Anallytical Processing，联机分析处理），可以对数据库数据进行实时分析处理。
FlinkSQL实现滚动窗口和滑动窗口
weixin_43466909的博客
04-10 2750
实现滚动窗口 package cn._51doit.flink.day11; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datast
大数据Flink（一百一十七）：Flink SQL的窗口操作
Lansonli（蓝深李）的博客
09-12 1927
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
大数据Flink（八十四）：SQL语法的DML：窗口聚合
Lansonli（蓝深李）的博客
09-20 960
由于窗口涉及到的知识内容比较多，先为大家说明介绍下面内容时的思路，大家跟着思路走。首先来看看 Flink SQL 中支持的 4 种窗口的运算。
Flink hop window（滑动窗口）详解
最新发布
chanyue123的博客
08-25 317
讲解flink hop window的新旧语法，并且举例说明window的第一个窗口的范围取值，何时触发等问题
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val dstream: DataStream[String] = env.socketTextStream(hadoop1,7777)
flinkSql中滑动窗口的实现
weixin_52642840的博客
12-04 421
flink中滑动窗口的使用
（3）FlinkSQL滑动窗口Demo演示
NBI大数据可视化
08-06 977
滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。场景：接收通过socket发送过来的数据，定义一个1小时的时间窗口大小，每30秒滑动触发运算一次。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。滚动窗口和滑动窗口的区别在于一个没有重叠部分，一个有重叠部分。.
SQL： 窗口滑动（Sliding Window）
2402_88047672的博客
06-02 1414
滑动窗口分析摘要 滑动窗口是一种动态分析数据范围的技术，分为时间窗口和行窗口两类。 时间窗口以时间单位（如天、小时）定义滑动区间，常用于计算移动平均值（如过去7天销售额）。实现方式包括子查询和自连接，窗口形式包括： 滑动窗口（重叠区间，如每日更新7天均值） 滚动窗口（无重叠，如按天/小时聚合） 会话窗口（用户连续行为划分，如超时断开后重启） 行窗口以固定行数为范围（如前3行均值），通过ROWS BETWEEN语法实现，适用于累计求和或排名。 核心区别：时间窗口（RANGE）基于时间值，行窗口（ROWS）基于
flinksql的滚动窗口实现
weixin_52642840的博客
12-04 578
flink滚动窗口的实现
（2）FlinkSQL滚动窗口Demo演示
NBI大数据可视化
08-06 471
滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。（2）编写socket代码，模拟数据发送。（1）准备一个实体对象，消息对象。...
Flink窗口机制
别这么骄傲
04-21 1268
时间是为窗口服务的。窗口是什么？为什么会有窗口呢？（1）Flink要处理的数据，一般是从Kafka过来的流式数据，如果只是单纯地统计流的数据量，是没办法统计的。（2）所以，要人为的 加上了一个时间区间限制（窗口），才可以进行统计。
详解SQL Server 2008滑动窗口的管理
Sky_666的专栏
03-21 1010
每个月都会有新数据添加到庞大的Orders数据表中，此时如果只对这一个表进行操作，则更新索引的过程将严重制约性能并产生大量碎片。为了进行优化，我们将通过独立的两个表进行配合，即当有新数据产生时，将旧数据从分区表中切换出来，然后将新数据添加到分区表中。　　整个过程包含如下几个步骤：　　·准备好即将用于存放旧数据的表　　·准备好存有新数据的表　　·更改分区方案，以便使用新的文件组　
万字详述 Flink SQL 4 种时间窗口语义！（收藏）
数据一哥，公众号：数据社
06-01 9879
DML：窗口聚合大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口首先来看看 Flink SQL 中支持的 4 种窗口的运算。⭐ 滚动窗口（TUMBLE）⭐ ...
flinksql 滑动窗口
06-27
<think>我们正在讨论FlinkSQL中的滑动窗口（HOP）的使用方法。根据引用[1]和引用[3]，FlinkSQL提供了滑动窗口函数HOP()。滑动窗口有两个参数：窗口大小和滑动步长。在WindowingTVF（表值函数）中，我们可以使用TABLE(HOP(...))来定义滑动窗口，并在GROUPBY子句中使用窗口的起始和结束时间以及分组键。引用[3]中给出了一个具体的示例：1.创建数据源表，其中包含时间属性字段（通过计算列和watermark定义）。2.使用HOP函数定义滑动窗口，并指定时间属性字段、滑动步长和窗口大小。3.在GROUPBY子句中按窗口起始时间、窗口结束时间和维度字段进行分组，然后进行聚合计算。下面我们将按照这个思路，给出一个详细的使用示例，并解释每个部分的作用。步骤：1.定义数据源表（SourceTable）：通常需要包含一个时间戳字段，并声明为事件时间属性（使用watermark）。2.使用HOP窗口函数：在查询中，使用TABLE(HOP(TABLE表名,DESCRIPTOR(时间属性字段),滑动步长,窗口大小))来生成滑动窗口。3.进行分组聚合：按窗口的起始时间(window_start)、结束时间(window_end)以及分组键进行分组，然后执行聚合操作。示例：假设我们有一个数据流，包含用户ID（user_id）、产品维度（dim）、交易金额（price）和时间戳（ts）。我们想要每2分钟滑动一次，计算每个产品维度在过去6分钟内的用户数（去重计数）。注意：在FlinkSQL中，时间间隔的表示方法为：INTERVAL'数值'时间单位（如：INTERVAL'2'MINUTE）。创建数据源表：```sqlCREATETABLEsource_table(dimSTRING,user_idBIGINT,priceBIGINT,tsBIGINT,--事件时间的时间戳（毫秒）row_timeASTO_TIMESTAMP(FROM_UNIXTIME(ts/1000)),--将毫秒时间戳转换为TIMESTAMP类型（假设ts是毫秒，先转成秒）WATERMARKFORrow_timeASrow_time-INTERVAL'5'SECOND--定义watermark，允许5秒的延迟)WITH('connector'='kafka',--这里以kafka为例，也可以是其他连接器如'socket''topic'='input_topic','properties.bootstrap.servers'='localhost:9092','format'='json');```使用滑动窗口查询：```sqlSELECTdim,COUNT(DISTINCTuser_id)asuv,window_start,window_endFROMTABLE(HOP(TABLEsource_table,DESCRIPTOR(row_time),INTERVAL'2'MINUTE,--滑动步长为2分钟INTERVAL'6'MINUTE--窗口大小为6分钟))GROUPBYdim,window_start,window_end;```解释：-`HOP`函数的第一个参数是表名（这里是source_table），第二个参数是时间属性列（row_time），第三个参数是滑动步长（2分钟），第四个参数是窗口大小（6分钟）。-该查询会每2分钟滑动一次，每次计算过去6分钟内每个dim的唯一用户数。-窗口的起始和结束时间可以通过`window_start`和`window_end`来获取，并可以在SELECT子句和GROUPBY子句中使用。注意：在Flink1.13及以上版本中，推荐使用WindowingTVF（即TABLE(HOP(...))）的方式，因为这种方式功能更强大，且支持在窗口后进行多维度聚合（比如除了窗口时间外，还可以按其他字段分组）。另外，引用[2]提到FlinkSQL实现基于eventtime的滑动窗口，所以这里我们使用事件时间（row_time）作为窗口的时间依据，并定义了watermark。关于窗口的起始和结束时间的表示：在结果中，window_start和window_end是TIMESTAMP类型，表示窗口的开始和结束时间（左闭右开区间）。如果需要在结果中展示为毫秒时间戳，可以使用UNIX_TIMESTAMP函数转换，如引用[3]中的示例：```sqlSELECTdim,UNIX_TIMESTAMP(CAST(window_startASSTRING))*1000aswindow_start,UNIX_TIMESTAMP(CAST(window_endASSTRING))*1000aswindow_end,COUNT(DISTINCTuser_id)asuv...--其余部分相同```以上就是一个完整的FlinkSQL滑动窗口的使用示例。§§相关问题§§1.FlinkSQL中滑动窗口和滚动窗口有什么区别？2.如何设置滑动窗口的步长大于窗口大小？这样设置有什么意义？3.FlinkSQL中滑动窗口的聚合结果如何输出？是每次滑动都会输出结果吗？4.在滑动窗口中使用事件时间时，如何处理迟到数据？</think>### Fllink SQL 滑动窗口使用方法详解 在 Flink SQL 中，滑动窗口（HOP）通过`HOP()`函数实现，其核心语法结构为： ```sql HOP(TABLE 数据表, DESCRIPTOR(时间属性字段), 滑动步长, 窗口大小) ``` #### 关键参数说明 | 参数 | 说明 | 示例 | |------|------|------| | **时间属性字段** | 定义事件时间的字段 | `row_time` | | **滑动步长** | 窗口每次滑动的间隔 | `INTERVAL '2' SECOND` | | **窗口大小** | 单个窗口覆盖的时间范围 | `INTERVAL '6' SECOND` | #### 完整使用示例 ```sql -- 1. 创建含时间属性的源表 CREATE TABLE source_table ( dim STRING, user_id BIGINT, price BIGINT, `timestamp` BIGINT, -- 原始时间戳（毫秒） row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`/1000)), -- 转为TIMESTAMP类型 WATERMARK FOR row_time AS row_time - INTERVAL '5' SECOND -- 定义水位线 ) WITH ( 'connector' = 'kafka', 'topic' = 'transactions', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ); -- 2. 执行滑动窗口聚合 SELECT dim, HOP_START(row_time, INTERVAL '2' SECOND) AS window_start, -- 窗口起始时间 HOP_END(row_time, INTERVAL '2' SECOND, INTERVAL '6' SECOND) AS window_end, -- 窗口结束时间 COUNT(DISTINCT user_id) AS uv_count FROM TABLE( HOP( TABLE source_table, DESCRIPTOR(row_time), INTERVAL '2' SECOND, -- 滑动步长2秒 INTERVAL '6' SECOND -- 窗口大小6秒 ) ) GROUP BY dim, window_start, window_end; ``` #### 执行结果示例 ``` dim | window_start | window_end | uv_count -----|-----------------------|-----------------------|--------- A | 2023-01-01 08:00:00 | 2023-01-01 08:00:06 | 15 A | 2023-01-01 08:00:02 | 2023-01-01 08:00:08 | 18 B | 2023-01-01 08:00:00 | 2023-01-01 08:00:06 | 9 ``` #### 核心特性说明 1. **窗口重叠机制** 每个事件会属于多个窗口（窗口大小/滑动步长）个窗口。如示例中： - 窗口大小=6秒，滑动步长=2秒 → 每个事件属于3个窗口 - 窗口计算公式：$N = \frac{\text{窗口大小}}{\text{滑动步长}}$ 2. **时间语义支持** 必须使用**事件时间**（Event Time），需配合`WATERMARK`定义： ```sql WATERMARK FOR row_time AS row_time - INTERVAL '5' SECOND ``` 3. **输出触发机制** 每次窗口滑动都会触发新结果输出（区别于滚动窗口仅结束时输出）[^1][^3]。 4. **TVF 表值函数** 需用`TABLE(HOP(...))`包裹函数，Flink 1.14+ 支持流批统一处理[^3]。 #### 典型应用场景 1. 每5分钟统计过去1小时的独立用户数（金融风控） 2. 每10秒统计过去30秒的交易额峰值（实时监控） 3. 每1分钟统计过去5分钟的异常请求率（网络安全）
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值