滑动窗口

本页目录

• 语法
• 案例

滑动窗口（HOP），也被称作 Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有两个参数：size 和slide。size为窗口的大小，slide为每次滑动的步长。如果slide < size，则窗口会重叠，每个元素会被分配到多个窗口。如果 slide = size，则等同于滚动窗口（TUMBLE）。如果 slide > size，则为跳跃窗口，窗口之间不重叠且有间隙。
通常情况下大部分元素符合多个窗口情景，窗口是重叠的。因此，滑动窗口在计算移动平均数（moving averages）时很实用。例如，计算过去5分钟数据的平均值，每10秒钟更新一次，可以设置size=5分钟slide=10秒钟。
下图展示了一个窗口大小为1分钟，间隔为30秒的滑动窗口。

语法

HOP函数用于在GROUP BY子句中定义滑动窗口。

1. HOP(<time-attr>, <slide-interval>, <size-interval>)
2. <slide-interval>: INTERVAL 'string' timeUnit
3. <size-interval>: INTERVAL 'string' timeUnit

参数必须是流中的一个合法的时间属性字段，即指定了processing time或是event time。

您可以参考时间属性章节了解如何定义时间属性和watermark。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级 window 的聚合。

窗口标识函数	返回类型	描述
HOP_START(time-attr, size-interval)	Timestamp	返回窗口的起始时间（包含边界）。如[00:10, 00:15) 的窗口，返回00:10。
HOP_END(time-attr, size-interval)	Timestamp	返回窗口的结束时间（包含边界）。如[00:00, 00:15] 的窗口，返回00:15。
HOP_ROWTIME(time-attr, size-interval)	Timestamp(rowtime-attr)	返回窗口的结束时间（不包含边界）。如 [00:00, 00:15]的窗口，返回00:14:59.999。返回值是一个rowtime attribute，所以可以基于该字段做时间类型的操作，如级联窗口。

案例

统计每个用户过去1分钟的点击次数，每30秒更新一次。即一分钟的窗口，30秒滑动一次。

1. CREATE TABLE user_clicks(
2. username varchar,
3. click_url varchar,
4. ts timeStamp,
5. WATERMARK wk FOR ts as withOffset(ts, 2000) -- 为 rowtime 定义watermark
6. ) with (
7. type='datahub',
8. ...
9. );
11. CREATE TABLE tumble_output(
12. window_start TIMESTAMP,
13. window_end TIMESTAMP,
14. username VARCHAR,
15. clicks BIGINT
16. ) with (
17. type='rds'
18. );
20. INSERT INTO tumble_output
21. SELECT
22. HOP_START(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
23. HOP_END(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
24. username,
25. COUNT(click_url)
26. FROM window_input
27. GROUP BY HOP(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE), username

测试数据

username (VARCHAR)	click_url (VARCHAR)	ts (TIMESTAMP)
Jark	http://taobao.com/xxx	2017-10-10 10:00:00.0
Jark	http://taobao.com/xxx	2017-10-10 10:00:10.0
Jark	http://taobao.com/xxx	2017-10-10 10:00:49.0
Jark	http://taobao.com/xxx	2017-10-10 10:01:05.0
Jark	http://taobao.com/xxx	2017-10-10 10:01:58.0
Timo	http://taobao.com/xxx	2017-10-10 10:02:10.0

测试结果

window_start (TIMESTAMP)	window_end (TIMESTAMP)	username (VARCHAR)	clicks (BIGINT)
2017-10-10 10:00:00.0	2017-10-10 10:01:00.0	Jark	3
2017-10-10 10:00:30.0	2017-10-10 10:01:30.0	Jark	2
2017-10-10 10:01:00.0	2017-10-10 10:02:00.0	Jark	2
2017-10-10 10:01:30.0	2017-10-10 10:02:30.0	Jark	1
2017-10-10 10:01:30.0	2017-10-10 10:02:30.0	Timo	1
2017-10-10 10:02:00.0	2017-10-10 10:03:00.0	Timo	1

本文转自实时计算——滑动窗口