【Flink SQL】基本概念

已于 2023-05-08 09:59:41 修改
阅读量1.2k 收藏 3
点赞数
文章标签： flink sql 大数据
于 2023-05-06 14:15:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/all_bya/article/details/130522837
版权

目录

一、时间属性

Event Time

Event Time：您提供的事件时间，通常是数据的最原始的创建时间。
系统会根据数据的Event Time生成的Watermark来进行关窗。只有当Watermark大于关窗时间，才会触发窗口的结束，窗口结束才会输出结果。如果一直没有触发窗口结束的数据流入Flink，则该窗口就无法输出数据。单并发的Watermark是递增的，多并发或者多个源表的Watermark取最小值。

重要

  • 如果源表中存在一条未来的乱序数据或者某个并发没有数据，则可能会无法触发窗口结束，从而导致结果数据异常。因此您需要根据数据乱序的程度设置合理的offset大小，并保证所有并发都有数据。如果某个源表并发或源表上游partition因没有数据导致窗口始终无法被触发，则可以在更多Flink配置中添加table.exec.source.idle-timeout: 10s 来触发窗口结束。
  • 数据经过GroupBy、双流JOIN或OVER窗口节点后，会导致Watermark属性丢失，无法再使用Event Time进行开窗。

Processing Time

Processing Time：对事件进行处理的本地系统时间。
Processing Time是Flink系统产生的，不在用户的原始数据中。因此需要您显示定义一个Processing Time列。
说明 因为Processing Time容易受到事件到达Flink系统的速度及Flink内部处理数据顺序的影响，所以每次回溯数据的结果可能不一致。

二、水印

watermark直译过来叫水印，但是或许把他翻译成水位线更容易让人理解其含义。

正常情况，数据按照时间顺序到达，但是在分布式系统中，CAP不会被同时满足，数据乱序到达、或者延迟到达的问题再正常不过，因此需要一种机制，能够控制数据处理的速度。

直白点可以这么理解，a、b、c三个系统都是Flink的数据源，三个系统各自独立，网络状态都是不同的。其中有个系统网络状态很是一般，卡的时候能把你卡emo，显然，a、b、c三个系统在同一个时刻产生的数据，到达Flink的时间很可能不同。假设我们现在需要统计10点到10点半间的数据量，那我们该怎么统计呢？

简单呀！来一个统计一个呗，统计到10点31分，我们决定不统计了，但是突然发现一条10点29的数据姗姗来迟。那我们等一会呗，可问题是等到几点？

等到几点这个问题 就是watermark做的事情，他画了一条水位线，过了水位线的咱都不要了。

这就是watermark最直白的含义。

作用

解决分布式数据时间的乱序问题

定义

WATERMARK 定义了表的事件时间属性，其形式为

WATERMARK FOR rowtime_column_name AS watermark_strategy_expression 。

rowtime_column_name 把一个现有的列定义为一个为表标记事件时间的属性。
该列的类型必须为 TIMESTAMP(3)，且是 schema 中的顶层列，它也可以是一个计算列。

watermark_strategy_expression 定义了 watermark 的生成策略
它允许使用包括计算列在内的任意非查询表达式来计算 watermark

触发watermark的前提条件
1、表达式的返回类型必须是 TIMESTAMP(3)，表示了从 Epoch 以来的经过的时间。
2、返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出（以保证 watermark 递增）。

特点
1、每条记录的 watermark 生成表达式计算都会由框架完成。
2、框架会定期发出所生成的最大的 watermark ，如果当前 watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ，则新的 watermark 不会被发出。
3、Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ，那么每条记录都会产生一个 watermark，且 watermark 会在不为空并大于上一个发出的 watermark 时发出。

使用事件时间语义时，表必须包含事件时间属性和 watermark 策略。

watermark 策略

严格递增时间戳： WATERMARK FOR rowtime_column AS rowtime_column。

发出到目前为止已观察到的最大时间戳的 watermark ，时间戳大于最大时间戳的行被认为没有迟到。

递增时间戳： WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘0.001’ SECOND。

发出到目前为止已观察到的最大时间戳减 1 的 watermark ，时间戳大于或等于最大时间戳的行被认为没有迟到。

有界乱序时间戳： WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘string’ timeUnit。

发出到目前为止已观察到的最大时间戳减去指定延迟的 watermark ，例如， WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘5’ SECOND 是一个 5 秒延迟的 watermark 策略。

CREATE TABLE Orders (
    `user` BIGINT,
    product STRING,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH ( . . . );

三、窗口函数

作用

Flink SQL窗口函数支持基于无限大窗口的聚合（无需在SQL Query中，显式定义任何窗口）以及对一个特定的窗口的聚合。例如，需要统计在过去的1分钟内有多少用户点击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。

分类

Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。Window聚合支持Event Time和Processing Time两种时间属性定义窗口。每种时间属性类型支持三种窗口类型：滚动窗口（TUMBLE）、滑动窗口（HOP）和会话窗口（SESSION）。

Window聚合

滚动窗口（TUMBLE）、滑动窗口（HOP）和会话窗口（SESSION）

滚动窗口（TUMBLE）
定义

滚动窗口（TUMBLE）将每个元素分配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分为[0:00, 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。

语法

TUMBLE函数用在GROUP BY子句中，用来定义滚动窗口。

TUMBLE(<time-attr>, <size-interval>)
<size-interval>: INTERVAL 'string' timeUnit

说明 <time-attr>参数必须是时间流中的一个合法的时间属性字段，指定为Processing Time或Event Time，请参见概述，了解如何定义时间属性。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。

窗口标识函数返回类型描述
TUMBLE_START(time-attr, size-interval)TIMESTAMP返回窗口的起始时间（包含边界）。例如[00:10,00:15)窗口，返回00:10。
TUMBLE_END(time-attr, size-interval)TIMESTAMP返回窗口的结束时间（包含边界）。例如[00:00, 00:15]窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的结束时间（不包含边界）。例如(00:00, 00:15)窗口，返回00:14:59.999。返回值是一个rowtime attribute，即可以基于该字段进行时间属性的操作，例如，级联窗口只能用在基于Event Time的Window上，详情请参见级联窗口。
TUMBLE_PROCTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的结束时间（不包含边界）。例如(00:00, 00:15)窗口，返回00:14:59.999。返回值是一个Proctime Attribute，即可以基于该字段进行时间属性的操作。例如，级联窗口只能用在基于Processing Time的Window上，详情请参见级联窗口。
使用Event Time统计每个用户每分钟在指定网站的单击数示例
测试数据
username（VARCHAR）click_url（VARCHAR）eventtime（VARCHAR）
Jarkhttp://taobao.com/xxx2017-10-10 10:00:00.0
Jarkhttp://taobao.com/xxx2017-10-10 10:00:10.0
Jarkhttp://taobao.com/xxx2017-10-10 10:00:49.0
Jarkhttp://taobao.com/xxx2017-10-10 10:01:05.0
Jarkhttp://taobao.com/xxx2017-10-10 10:01:58.0
Timohttp://taobao.com/xxx2017-10-10 10:02:10.0
测试语句
 CREATE TEMPORARY TABLE user_clicks(
   username varchar,
   click_url varchar,
   eventtime varchar,                            
   ts AS TO_TIMESTAMP(eventtime),
   WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
 ) WITH (
   'connector'='sls',
   ...
 );
 
 CREATE TEMPORARY TABLE tumble_output(
   window_start TIMESTAMP,
   window_end TIMESTAMP,
   username VARCHAR,
   clicks BIGINT
 ) WITH (
   'connector'='datahub'          --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
   ...
 );
 
 INSERT INTO tumble_output
 SELECT
 TUMBLE_START(ts, INTERVAL '1' MINUTE) as window_start,
 TUMBLE_END(ts, INTERVAL '1' MINUTE) as window_end,
 username,
 COUNT(click_url)
 FROM user_clicks
 GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;
测试结果
window_start （TIMESTAMP）window_end （TIMESTAMP）username（VARCHAR）clicks（BIGINT）
2017-10-10 10:00:00.02017-10-10 10:01:00.0Jark3
2017-10-10 10:01:00.02017-10-10 10:02:00.0Jark2
2017-10-10 10:02:00.02017-10-10 10:03:00.0Timo1
使用Processing Time统计每个用户每分钟在指定网站的单击数示例
测试数据
username （VARCHAR）click_url（VARCHAR）
Jarkhttp://taobao.com/xxx
Jarkhttp://taobao.com/xxx
Jarkhttp://taobao.com/xxx
Jarkhttp://taobao.com/xxx
Jarkhttp://taobao.com/xxx
Timohttp://taobao.com/xxx
测试语句
CREATE TEMPORARY TABLE window_test (
  username   VARCHAR,
  click_url  VARCHAR,
  ts as PROCTIME()
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'              --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE),
TUMBLE_END(ts, INTERVAL '1' MINUTE),
username,
COUNT(click_url)
FROM window_test
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username;

  • 测试结果

    window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks（BIGINT）
    2019-04-11 14:43:00.0002019-04-11 14:44:00.000Jark5
    2019-04-11 14:43:00.000 2019-04-11 14:44:00.000Timo1
滑动窗口（HOP）
定义

滑动窗口（HOP），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。

滑动窗口有两个参数：slide和size。slide为每次滑动的步长，size为窗口的大小。

  • slide < size，则窗口会重叠，每个元素会被分配到多个窗口。
  • slide = size，则等同于滚动窗口（TUMBLE）。
  • slide > size，则为跳跃窗口，窗口之间不重叠且有间隙。

通常，大部分元素符合多个窗口情景，窗口是重叠的。因此，滑动窗口在计算移动平均数（moving averages）时很实用。例如，计算过去5分钟数据的平均值，每10秒钟更新一次，可以设置slide为10秒，size为5分钟。

函数语法

HOP函数用在GROUP BY子句中，用来定义滑动窗口。

HOP(<time-attr>, <slide-interval>,<size-interval>)
<slide-interval>: INTERVAL 'string' timeUnit
<size-interval>: INTERVAL 'string' timeUnit

说明

<time-attr>参数必须是流中的一个合法的时间属性字段，指定为Processing Time或Event Time。请参见概述，了解如何定义时间属性。

标识函数

使用滑动窗口标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。

窗口标识函数返回类型描述
HOP_START（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP返回窗口的起始时间（包含边界）。例如[00:10, 00:15] 窗口，返回00:10 。
HOP_END（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP返回窗口的结束时间（包含边界）。例如[00:00, 00:15]窗口，返回00:15。
HOP_ROWTIME（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP（rowtime-attr）返回窗口的结束时间（不包含边界）。例如(00:00, 00:15) 窗口，返回00:14:59.999。返回值是一个rowtime attribute，即可以基于该字段做时间类型的操作，例如级联窗口，只能用在基于event time的window上。
HOP_PROCTIME（<time-attr>, <slide-interval>, <size-interval>）TIMESTAMP（rowtime-attr）返回窗口的结束时间（不包含边界）。例如(00:00, 00:15) 窗口，返回00:14:59.999 。返回值是一个proctime attribute，即可以基于该字段做时间类型的操作，例如级联窗口，只能用在基于processing time的window上。
示例

统计每个用户过去1分钟的单击次数，每30秒更新1次，即1分钟的窗口，30秒滑动1次。

  • 测试数据

    username（VARCHAR）click_url（VARCHAR）ts（TIMESTAMP）
    Jarkhttp://taobao.com/xxx2017-10-10 10:00:00.0
    Jarkhttp://taobao.com/xxx2017-10-10 10:00:10.0
    Jarkhttp://taobao.com/xxx2017-10-10 10:00:49.0
    Jarkhttp://taobao.com/xxx2017-10-10 10:01:05.0
    Jarkhttp://taobao.com/xxx2017-10-10 10:01:58.0
    Timohttp://taobao.com/xxx2017-10-10 10:02:10.0
测试语句
CREATE TEMPORARY TABLE user_clicks (
  username VARCHAR,
  click_url VARCHAR,
  eventtime VARCHAR,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE hop_output (
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'           --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO
    hop_output
SELECT
    HOP_START (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
    HOP_END (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
    username,
    COUNT (click_url)
FROM
    user_clicks
GROUP BY
    HOP (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),username;
测试结果
window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks （BIGINT）
2017-10-10 09:59:30.02017-10-10 10:00:30.0Jark2
2017-10-10 10:00:00.02017-10-10 10:01:00.0Jark3
2017-10-10 10:00:30.02017-10-10 10:01:30.0Jark2
2017-10-10 10:01:00.02017-10-10 10:02:00.0Jark2
2017-10-10 10:01:30.02017-10-10 10:02:30.0Jark1
2017-10-10 10:02:00.02017-10-10 10:03:00.0Timo1
2017-10-10 10:02:30.02017-10-10 10:03:30.0Timo1

HOP窗口无法读取数据进入的时间，第一个窗口的开启时间会前移。

前移时长=窗口时长-滑动步长

示例如下表。
窗口时长（秒）滑动步长（秒）Event Time第一个窗口StartTime第一个窗口EndTime
120302019-07-31 10:00:00.02019-07-31 09:58:30.02019-07-31 10:00:30.0
60102019-07-31 10:00:00.02019-07-31 09:59:10.02019-07-31 10:00:10.0
会话窗口（SESSION）
定义

会话窗口（SESSION）通过SESSION活动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比，没有窗口重叠，没有固定窗口大小。相反，当它在一个固定的时间周期内不再收到元素，即会话断开时，该窗口就会关闭。

会话窗口通过一个间隔时间（Gap）来配置，这个间隔定义了非活跃周期的长度。例如，一个表示鼠标单击活动的数据流可能具有长时间的空闲时间，并在两段空闲之间散布着高浓度的单击。如果数据在指定的间隔（Gap）之后到达，则会开始一个新的窗口。

函数语法

SESSION函数用于在GROUP BY子句中定义会话窗口。

SESSION(<time-attr>, <gap-interval>)
<gap-interval>: INTERVAL 'string' timeUnit

说明 <time-attr> 参数必须是数据流中的一个合法的时间属性字段，指定为Processing Time或Event Time，详情请参见概述，了解如何定义时间属性。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。

窗口标识函数返回类型描述
SESSION_START（<time-attr>, <gap-interval>）Timestamp返回窗口的起始时间（包含边界）。例如[00:10,00:15]的窗口，返回00:10，即为此会话窗口内第一条记录的时间。
SESSION_END（<time-attr>, <gap-interval>）Timestamp返回窗口的结束时间（包含边界）。例如[00:00,00:15]的窗口，返回 00:15，即为此会话窗口内最后一条记录的时间+<gap-interval>。
SESSION_ROWTIME（<time-attr>, <gap-interval>）Timestamp（rowtime-attr）返回窗口的结束时间（不包含边界）。例如(00:00,00:15)的窗口，返回00:14:59.999 。返回值是一个rowtime attribute，也就是可以基于该字段进行时间类型的操作，例如级联窗口。该参数只能用于基于Event Time的Window。
SESSION_PROCTIME（<time-attr>, <gap-interval>）Timestamp（rowtime-attr）返回窗口的结束时间（不包含边界）。例如(00:00,00:15)的窗口，返回 00:14:59.999 。返回值是一个Proctime Attribute，也就是可以基于该字段进行时间类型的操作，例如级联窗口。该参数只能用于基于Processing Time的Window。
示例

统计每个用户在每个活跃会话期间的单击次数，会话超时时长为30秒。

测试数据
username （VARCHAR）click_url （VARCHAR）ts （TIMESTAMP）
Jarkhttp://taobao.com/xxx2017-10-10 10:00:00.0
Jarkhttp://taobao.com/xxx2017-10-10 10:00:10.0
Jarkhttp://taobao.com/xxx2017-10-10 10:00:49.0
Jarkhttp://taobao.com/xxx2017-10-10 10:01:05.0
Jarkhttp://taobao.com/xxx2017-10-10 10:01:58.0
Timohttp://taobao.com/xxx2017-10-10 10:02:10.0
测试语句
CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE session_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'           --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO session_output
SELECT
SESSION_START(ts, INTERVAL '30' SECOND),
SESSION_END(ts, INTERVAL '30' SECOND),
username,
COUNT(click_url)
FROM user_clicks
GROUP BY SESSION(ts, INTERVAL '30' SECOND), username;
测试结果
window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks （BIGINT）
2017-10-10 10:00:00.02017-10-10 10:00:40.0Jark2
2017-10-10 10:00:49.02017-10-10 10:01:35.0Jark2
2017-10-10 10:01:58.02017-10-10 10:02:28.0Jark1
2017-10-10 10:02:10.02017-10-10 10:02:40.0Timo1

Over聚合

OVER窗口（OVER Window）是传统数据库的标准开窗，不同于Group By Window，OVER窗口中每1个元素都对应1个窗口。OVER窗口可以按照实际元素的行或实际的元素值（时间戳值）确定窗口，因此流数据元素可能分布在多个窗口中。

在应用OVER窗口的流式数据中，每1个元素都对应1个OVER窗口。每1个元素都触发1次数据计算，每个触发计算的元素所确定的行，都是该元素所在窗口的最后1行。在实时计算的底层实现中，OVER窗口的数据进行全局统一管理（数据只存储1份），逻辑上为每1个元素维护1个OVER窗口，为每1个元素进行窗口计算，完成计算后会清除过期的数据。详情请参见Over Aggregation。

语法

SELECT
    agg1(col1) OVER (definition1) AS colName,
    ...
    aggN(colN) OVER (definition1) AS colNameN
FROM Tab1;
  • agg1(col1)：按照GROUP BY指定col1列对输入数据进行聚合计算。
  • OVER (definition1)：OVER窗口定义。
  • AS colName：别名。
    说明
  • agg1到aggN所对应的OVER definition1必须相同。
  • 外层SQL可以通过AS的别名查询数据。

类型

Flink SQL中对OVER窗口的定义遵循标准SQL的定义语法，传统OVER窗口没有对其进行更细粒度的窗口类型命名划分。按照计算行的定义方式，OVER Window可以分为以下两类：

  • ROWS OVER Window：每1行元素都被视为新的计算行，即每1行都是一个新的窗口。
  • RANGE OVER Window：具有相同时间值的所有元素行视为同一计算行，即具有相同时间值的所有行都是同一个窗口。

属性

正交属性说明proctimeeventtime
ROWS OVER Window按照实际元素的行确定窗口。支持支持
RANGE OVER Window按照实际的元素值（时间戳值）确定窗口。支持支持
Rows OVER Window语义
窗口数据

ROWS OVER Window的每个元素都确定一个窗口。

窗口语法
SELECT
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)]
     ORDER BY timeCol
     ROWS 
     BETWEEN (UNBOUNDED | rowCount) PRECEDING AND CURRENT ROW) AS colName, ...
FROM Tab1;
  • value_expression：分区值表达式。
  • timeCol：元素排序的时间字段。
  • rowCount：定义根据当前行开始向前追溯几行元素。
案例

以Bounded ROWS OVER Window场景为例。假设，一张商品上架表，包含有商品ID、商品类型、商品上架时间、商品价格数据。要求输出在当前商品上架之前同类的3个商品中的最高价格。

测试数据
商品ID商品类型上架时间销售价格
ITEM001Electronic2017-11-11 10:01:0020
ITEM002Electronic2017-11-11 10:02:0050
ITEM003Electronic2017-11-11 10:03:0030
ITEM004Electronic2017-11-11 10:03:0060
ITEM005Electronic2017-11-11 10:05:0040
ITEM006Electronic2017-11-11 10:06:0020
ITEM007Electronic2017-11-11 10:07:0070
ITEM008Clothes2017-11-11 10:08:0020
测试代码
    CREATE TEMPORARY TABLE tmall_item(
      itemID VARCHAR,
      itemType VARCHAR,
      eventtime varchar,                            
      onSellTime AS TO_TIMESTAMP(eventtime),
      price DOUBLE,
      WATERMARK FOR onSellTime AS onSellTime - INTERVAL '0' SECOND  --为Rowtime定义Watermark。
    ) WITH (
      'connector' = 'sls',
       ...
    );
    
    SELECT
        itemID,
        itemType,
        onSellTime,
        price,  
        MAX(price) OVER (
            PARTITION BY itemType 
            ORDER BY onSellTime 
            ROWS BETWEEN 2 preceding AND CURRENT ROW) AS maxPrice
    FROM tmall_item;
测试结果
itemIDitemTypeonSellTimepricemaxPrice
ITEM001Electronic2017-11-11 10:01:002020
ITEM002Electronic2017-11-11 10:02:005050
ITEM003Electronic2017-11-11 10:03:003050
ITEM004Electronic2017-11-11 10:03:006060
ITEM005Electronic2017-11-11 10:05:004060
ITEM006Electronic2017-11-11 10:06:002060
ITEM007Electronic2017-11-11 10:07:007070
ITEM008Clothes2017-11-11 10:08:002020
RANGE OVER Window语义
窗口数据

RANGE OVER Window所有具有共同元素值（元素时间戳）的元素行确定一个窗口。

窗口语法
SELECT
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)]
     ORDER BY timeCol
     RANGE 
     BETWEEN (UNBOUNDED | timeInterval) PRECEDING AND CURRENT ROW) AS colName,
...
FROM Tab1;
  • value_expression：进行分区的字表达式。
  • timeCol：元素排序的时间字段。
  • timeInterval：定义根据当前行开始向前追溯指定时间的元素行。
案例

Bounded RANGE OVER Window场景示例：假设一张商品上架表，包含有商品ID、商品类型、商品上架时间、商品价格数据。需要求比当前商品上架时间早2分钟的同类商品中的最高价格。

测试数据
商品ID商品类型上架时间销售价格
ITEM001Electronic2017-11-11 10:01:0020
ITEM002Electronic2017-11-11 10:02:0050
ITEM003Electronic2017-11-11 10:03:0030
ITEM004Electronic2017-11-11 10:03:0060
ITEM005Electronic2017-11-11 10:05:0040
ITEM006Electronic2017-11-11 10:06:0020
ITEM007Electronic2017-11-11 10:07:0070
ITEM008Clothes2017-11-11 10:08:0020
测试代码
 CREATE TEMPORARY TABLE tmall_item(
   itemID VARCHAR,
   itemType VARCHAR,
   eventtime varchar,                            
   onSellTime AS TO_TIMESTAMP(eventtime),
   price DOUBLE,
   WATERMARK FOR onSellTime AS onSellTime - INTERVAL '0' SECOND  --为Rowtime定义Watermark。
 ) WITH (
   'connector' = 'sls',
    ...
 );
 
 
 SELECT  
     itemID,
     itemType, 
     onSellTime, 
     price,  
     MAX(price) OVER (
         PARTITION BY itemType 
         ORDER BY onSellTime 
         RANGE BETWEEN INTERVAL '2' MINUTE preceding AND CURRENT ROW) AS maxPrice
 FROM tmall_item;
测试结果
itemIDitemTypeonSellTimepricemaxPrice
ITEM001Electronic2017-11-11 10:01:002020
ITEM002Electronic2017-11-11 10:02:005050
ITEM003Electronic2017-11-11 10:03:003050
ITEM004Electronic2017-11-11 10:03:006060
ITEM005Electronic2017-11-11 10:05:004060
ITEM006Electronic2017-11-11 10:06:002040
ITEM007Electronic2017-11-11 10:07:007070
ITEM008Clothes2017-11-11 10:08:002020
语音不识别
关注
大数据Flink（七十四）：SQL的滑动窗口（HOP）
Lansonli（蓝深李）的博客
09-06 1523
与滚动窗口功能一样，也有窗口大小的概念。不一样的地方在于，滑动窗口有另一个参数控制窗口计算的频率（滑动窗口滑动的步长）。因此，如果滑动的步长小于窗口大小，则滑动窗口之间每个窗口是可以重叠。这样，每 5 分钟会划分一次窗口，这个窗口包含的数据是过去 10 分钟内的数据，如下图所示。：比如计算同时在线的数据，要求结果的输出频率是 1 分钟一次，每次计算的数据是过去 5 分钟的数据（有的场景下用户可能在线，但是可能会 2 分钟不活跃，但是这也要算在同时在线数据中，所以取最近 5 分钟的数据就能计算进去了）
大数据Flink（一百一十五）：Flink SQL的基本概念
Lansonli（蓝深李）的博客
09-08 2098
因为这个表的元数据没有被持久化。那么在这个 Flink session 中，你的任务访问到这个表时，访问到的永远是临时表（即相同名称的表，临时表会屏蔽永久表）。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出。表可以是临时的，并与单个 Flink session（可以理解为 Flink 任务运行一次就是一个 session）的生命周期绑定。任务状态变成运行中后，点击任务进入任务详情，点击作业探查，点击运行日志下的Task Managers，点击Path，ID实例。
快速入门Flink SQL —— 介绍及入门
热门推荐
大数据记录
12-16 2万+
前言          Flink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。目前功能尚未完善，处于活跃的开发阶段。          Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如 select、f
FlinkSQL窗口函数TUMBLE、SESSION 和 HOP的区别
weixin_64261178的博客
07-26 1113
FlinkSQL的TUMBLE、SESSION 和 HOP的窗口函数的介绍与使用
FlinkSql概述
m0_57697768的博客
06-19 1万+
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。
Flink SQL整理
qq_42969753的博客
04-19 1511
Flink SQL整理
FlinkSQL快速入门
hzp666的博客
02-07 848
实时数仓来势凶猛，FlinkSQL已成必杀技。五千字长文带大家快速入门FlinkSQL，占据技术栈优势，升职加薪加特！ 二、FlinkSQL出现的背景 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就...
大数据实时计算Flink SQL解密
06-26
#### Flink SQL基本概念 ##### SQL并非专为流设计 传统的SQL是为批处理设计的，其特点包括： - **单次查询单个结果**：批处理查询执行一次后返回一个结果集即结束。 - **有限的数据量**：处理的数据集大小是有限...
大数据实时计算Flink SQL架构介绍.pptx
10-14
Flink SQL基本概念 Flink SQL是一种基于SQL的实时计算引擎，支持声明式查询语言，能够对大规模数据进行实时处理和分析。Flink SQL的核心理念是将SQL作为一种通用语言，用于描述数据处理和分析的逻辑。 Flink SQL...
【Flink SQL】Flink SQL 基础概念（一）：SQL &amp； Table 运行环境(1)
2401_84166327的博客
04-27 766
Table API 是一种集成在 Java、Scala 和 Python 语言中的查询 API，简单理解就是用 Java、Scala、Python 按照 SQL 的查询接口封装了一层 lambda 表达式的查询 API，它允许以强类型接口的方式组合各种关系运算符（如选择、筛选和联接）的查询操作，然后生成一个 Flink 任务运行。SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的，我们可以使用纯 SQL 来开发和运行一个 Flink 任务。
大数据Flink（一百一十六）：Flink SQL的时间属性
最新发布
Lansonli（蓝深李）的博客
09-10 2081
以事件时间举个例子，如果只是数据携带了时间，Flink 也消费了这个数据，但是在 Flink 中没有使用数据的这个时间作为计算的触发条件，也不能把这个 Flink 任务叫做事件时间的任务。：举个例子，比如用户可以自定义每隔 10s 的本地时间，或者消费到的数据的时间戳每增大 10s，就把计算结果输出一次，时间在此类应用中也是一种标识任务进度的作用。事件时间：指的是数据本身携带的时间，这个时间是在事件产生时的时间，而且在 Flink SQL 触发计算时，也使用数据本身携带的时间。它是时间的最简单概念。
Flink SQL 批处理使用HOP详解
Scapel的博客
03-26 4058
Flink SQL 批处理使用HOP详解 介绍 Flink SQL中分组窗口函数中有一个HOP(time_attr, hop interval 滑动间隔, fixed duration 窗口时间)，适合的场景基本是每隔多长时间统计一次某个时间段内的指标，例如，统计每个用户过去1分钟（窗口时间）的单击次数，每30秒（滑动间隔）更新1次。在流式计算中比较容易理解，但是批处理使用这个函数就会让人摸不着头脑。下面通过一个例子来解释。 表结构及数据 SQL INSERT INTO print SEL
Apache Flink SQL概览
ytp552200ytp的博客
12-17 564
Apache Flink SQL Job的组成 我们做任何数据计算都离不开读取原始数据，计算逻辑和写入计算结果数据三部分，当然基于Apache Flink SQL编写的计算Job也离不开这个三部分，如下所所示： 如上所示，一个完整的Apache Flink SQL Job 由如下三部分： ·Source Operator – Soruce operator是对外部数据源的抽象, 目前A...
万字详述 Flink SQL 4 种时间窗口语义！（收藏）
数据一哥，公众号：数据社
06-01 9420
DML：窗口聚合大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口首先来看看 Flink SQL 中支持的 4 种窗口的运算。⭐ 滚动窗口（TUMBLE）⭐ ...
10分钟了解Flink SQL使用
dsgdauigfs的博客
05-13 1440
流批统一是大数据处理领域的一个概念，它指的是使用一套代码来同时处理流数据（Streaming）和批数据（Batching）。流处理和批处理的区别如下：批处理（Batch Processing）：批处理是指在某一时间点处理大量数据的手段。它通常涉及到对大量静止的（不再变化的）数据集进行一次性的处理。批处理作业通常在数据集完整可用后开始执行，并且经常是在数据仓库中进行。例如，一个电商平台可能在一天结束时运行一个批处理作业来处理当天所有的交易记录。
FlinkSql系列1之窗口聚合
feiyangailing的博客
03-29 1920
FlinkSql之窗口聚合 文章目录FlinkSql之窗口聚合前言一、窗口聚合的分类二、窗口实际案例与实践2.1.滚动窗口（TUMBLE）group window aggregationwindow tvf方案（只支持Streaming）2. 2.测试运行2.3 滑动窗口（HOP）group window aggregationwindow tvf方案2.4 测试结果2.5 Session窗口（Session）2.6 测试结果2.7 渐进式窗口（CUMULATE）2.8 测试结果总结 前言 使用flink
Flink SQL 练习
加油
11-13 226
【代码】Flink SQL 练习。
【Flink 实战篇】窗口实战：TUMBLE、HOP、SESSION
书山有路，学海无涯。记录成长，追逐梦想
03-23 1884
在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 “过去 2 分钟网站点击量的计数”、“在最近 100 个人中点赞这个视频的总人数”。窗口的概念相当于帮我们收集了一张有限数据的动态表，我们可以对表中的数据进行聚合计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

语音不识别

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值