flink窗口详细说明

已于 2022-02-16 17:55:05 修改
阅读量2.1k 收藏 7
点赞数
分类专栏： flink 文章标签： flink kafka 大数据
于 2021-12-31 15:15:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sanhongbo/article/details/122256873
版权

时间语义

Event Time : 事件创建的时间 （一般为kafka中消息中的时间字段，为事件消息的创建事件）

Ingestion Time：数据进入Flink的时间 （如source读取到kafka流时的时间）

Processing Time：执行操作算子的本地系统时间，与机器有关（算子执行当前时间时的时间）

在这里插入图片描述

Watermark

实时计算的输入数据是持续不断的，当我们进行窗口操作时需要一个有效的进度指标。Watermark就是一种衡量事件进展的有效机制。（窗口关闭前闭后开）

  • 通常在读入数据源之后直接声明Watermark（取事件消息中的事件时间）
  • Watermark的生成是不可逆的
  • Flink 应用程序可以通过Watermark得知事件时间的进度,从而关闭窗口。

注意：在上有游数据源输入是多个分区（分片）输入时，Watermark取所有并行数据源中Watermark的最小值。（也就是说如果有一个分区无数据发送，Watermark不会更新）

在这里插入图片描述

作用：watermark处理乱序数据，在开窗口操作时，设置watermark延迟时间，等待乱序事件到来触发计算。

Watermark策略：

  • 周期性Watermark
  • 标记生成

TimeWindow

滑动窗口

可指定窗口大小和滑动步长，具有固定长度的窗口长度，可能重叠。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RYcY4s9C-1640934899884)(sliding-windows.svg)]

滚动窗口

翻滚窗口具有固定大小并且不重叠

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hLdtxs2t-1640934899884)(tumbling-windows.svg)]

窗口触发

触发条件

a、water_mark时间 >= window_end_time只是第一个条件

b、在[window_start_time,window_end_time)区间中还需要有数据存在，如果没有数据同样是不会触发的。

窗口分配方式

消息无顺序到达

在这里插入图片描述

乱序消息到达，设置watermark延迟为2。

在这里插入图片描述

这样就可以保证数据最大延迟在2s内，数据也可以被分配到对应的窗口正常计算。（根据实际情况估算数据延迟情况后合理设置watermark延迟）

窗口开始时间计算

flink计算规则

public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) {
        return timestamp - (timestamp - offset + windowSize) % windowSize;
}

#5分钟滚动窗口为例  =>  300000
2021-12-28 11:23:08   =>   1640661788095

(timestamp - offset + windowSize) % windowSize   =>  （1640661788095 - 0 + 300000）% 300000    =    188,095

timestamp - (timestamp - offset + windowSize) % windowSize  => 1640661788095 - 188,095 = 1640661600000  =>   2021-12-28 11:20:00

Flink sql

WATERMARK

  • WATERMARK定义了表的事件时间属性，其形式为WATERMARK FOR rowtime_column_name AS watermark_strategy_expression。
  • rowtime_column_name该列的类型必须为TIMESTAMP(3)，并且是模式中的极列，它也可以是一个计算列。
  • watermark_strategy_expression定义了水印的生成策略。它允许使用包括计算列时间的任意非查询表达式来计算水印；表达式的类型必须是TIMESTAMP(3)，表示从Epoch以来的时间。事件中获取watermark的字段不为空且大于之前发出的水印时间会将当前的时间发出（以保证水印记录的创建）。每条水印生成表达式计算全部由框架完成。框架会随时生成的最大水印，如果当前水印仍然与前一个水印相同，或者为空，或返回的水印的值小于最后一个发出的水印，则新的水印不会被发出。水印根据pipeline.auto-watermark-interval中所配置的间隔发出。若水印的间隔是0ms，那么每条记录都会参与计算水印，且水印会在不为空并大于上一个发出的水印时发出。

使用事件时间时，表声明时必须包含事件时间属性和水印策略。

Flink 提供了几种常用的水印策略。

  • 递增：WATERMARK FOR rowtime_column AS rowtime_column。

    发出已经观察到的最大时间的水印。

  • 设置延迟：WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '5' SECOND。

    发出已观察到的最大时间减去延迟时间的水印。

# 声明无延迟watermark
CREATE TABLE Orders (
    `user` BIGINT,
    product STRING,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time
) WITH ( . . . );

# 声明watermark延迟5秒
CREATE TABLE Orders (
    `user` BIGINT,
    product STRING,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH ( . . . );

Group Window

SQL 查询的时间窗口是通过 GROUP BY 子句定义的。类似于使用常规 GROUP BY 语句的查询，窗口分组语句的 GROUP BY 子句中带有一个窗口函数为每个分组计算出一个结果。以下是批处理表和流处理表支持的分组窗口函数

分组窗口函数描述
TUMBLE(time_attr, interval)定义一个滚动窗口。滚动窗口把行分配到有固定持续时间（ interval ）的不重叠的连续窗口。比如，5 分钟的滚动窗口以 5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。
HOP(time_attr, interval, interval)定义一个跳跃的时间窗口（在 Table API 中称为滑动窗口）。滑动窗口有一个固定的持续时间（ 第二个 interval 参数 ）以及一个滑动的间隔（第一个 interval 参数 ）。若滑动间隔小于窗口的持续时间，滑动窗口则会出现重叠；因此，行将会被分配到多个窗口中。比如，一个大小为 15 分组的滑动窗口，其滑动间隔为 5 分钟，将会把每一行数据分配到 3 个 15 分钟的窗口中。滑动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。
SESSION(time_attr, interval)定义一个会话时间窗口。会话时间窗口没有一个固定的持续时间，但是它们的边界会根据 interval 所定义的不活跃时间所确定；即一个会话时间窗口在定义的间隔时间内没有时间出现，该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟，当其不活跃的时间达到30分钟后，若观测到新的记录，则会启动一个新的会话时间窗口（否则该行数据会被添加到当前的窗口），且若在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。

注意： 辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用.

可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性：

窗口标识函数返回类型描述
TUMBLE_START(time-attr, size-interval)TIMESTAMP返回窗口的起始时间（包含边界）。例如[00:10, 00:15) 窗口，返回00:10 。
TUMBLE_END(time-attr, size-interval)TIMESTAMP返回窗口的结束时间（包含边界）。例如[00:00, 00:15)窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的结束时间（不包含边界）。例如[00:00, 00:15)窗口，返回00:14:59.999 。返回值是一个rowtime attribute，即可以基于该字段做时间属性的操作。
TUMBLE_PROCTIME(time-attr, size-interval)TIMESTAMP(rowtime-attr)返回窗口的结束时间（不包含边界）。例如[00:00, 00:15)窗口，返回00:14:59.999。返回值是一个proctime attribute，即可以基于该字段做时间属性的操作。
# 计算每日的 SUM(amount)（使用事件时间）
SELECT 
	user,
	TUMBLE_START(rowtime, INTERVAL '5' DAY) as wStart,
    SUM(amount) 
FROM 
	Orders 
GROUP BY 
	TUMBLE(rowtime, INTERVAL '1' DAY),
    user;
    
# 计算每日的 SUM(amount)（使用处理时间）   
SELECT 
	user, 
	SUM(amount) 
FROM 
	Orders 
GROUP BY 
	TUMBLE(proctime, INTERVAL '1' DAY),
	user;

实际样例说明

场景一 watermark生成

  1. watermark正常推进

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:01”} => 2021-12-30 23:20:01 （减8小时）

在这里插入图片描述

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:05”} => 2021-12-30 23:20:05 （减8小时）

在这里插入图片描述

2.watermark延迟生成（WATERMARK FOR row_time AS row_time - INTERVAL ‘5’ SECOND）

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:01”} => 2021-12-30 23:19:56 （减8小时）

在这里插入图片描述

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:05”} => 2021-12-30 23:20:00 （减8小时）

在这里插入图片描述

场景二 事件时间窗口触发

  1. 不设置延迟触发
#SET table.local-time-zone=UTC;

create table test1(
id String,
name String,
age int,
update_time String,
row_time as TO_TIMESTAMP(update_time),
WATERMARK FOR row_time AS row_time
)with(
  'connector' = 'kafka',
  'properties.bootstrap.servers'='192.168.10.55:9092,192.168.10.81:9092',
  'properties.group.id' = 'test1',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json',
  'sink.parallelism' = '1',
  'json.ignore-parse-errors' = 'true',
  'topic'='test1');
  
# 窗口查询
SELECT 
 name,
 TUMBLE_START(row_time, INTERVAL '5' SECOND) as wStart,
 TUMBLE_END(row_time, INTERVAL '5' SECOND) as wEnd,
 SUM(age) 
FROM 
 test1 
GROUP BY 
 TUMBLE(row_time, INTERVAL '5' SECOND),
 name;

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:01”} => 根据窗口计算规则，应该开15:20:00 - 15:20:05窗口

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:05”}=> 时间到达15:20:05 ，窗口触发（左闭右开）

在这里插入图片描述

2.设置wateremark延迟。

#SET table.local-time-zone=UTC;

create table test1(
id String,
name String,
age int,
update_time String,
row_time as TO_TIMESTAMP(update_time),
WATERMARK FOR row_time  AS row_time - INTERVAL '2' SECOND
)with(
  'connector' = 'kafka',
  'properties.bootstrap.servers'='192.168.10.55:9092,192.168.10.81:9092',
  'properties.group.id' = 'test1',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json',
  'sink.parallelism' = '1',
  'json.ignore-parse-errors' = 'true',
  'topic'='test1');
  
# 窗口查询
SELECT 
 name,
 TUMBLE_START(row_time, INTERVAL '5' SECOND) as wStart,
 TUMBLE_END(row_time, INTERVAL '5' SECOND) as wEnd,
 SUM(age) 
FROM 
 test1 
GROUP BY 
 TUMBLE(row_time, INTERVAL '5' SECOND),
 name;

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:01”} => 根据窗口计算规则，应该开15:20:00 - 15:20:05窗口。

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:05”}=> 时间到达15:20:03 。

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:07”}=> 时间到达15:20:05 ，窗口触发（左闭右开，不包括15:20:05时间的数据）

在这里插入图片描述

场景三 系统时间窗口触发

#SET table.local-time-zone=UTC;

create table test1(
id String,
name String,
age int,
update_time String,
proctime as PROCTIME()
)with(
  'connector' = 'kafka',
  'properties.bootstrap.servers'='192.168.10.55:9092,192.168.10.81:9092',
  'properties.group.id' = 'test1',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json',
  'sink.parallelism' = '1',
  'json.ignore-parse-errors' = 'true',
  'topic'='test1');
  
# 窗口查询
SELECT 
 name,
 TUMBLE_START(proctime, INTERVAL '5' SECOND) as wStart,
 TUMBLE_END(proctime, INTERVAL '5' SECOND) as wEnd,
 SUM(age) 
FROM 
 test1 
GROUP BY 
 TUMBLE(proctime, INTERVAL '5' SECOND),
 name;

{“id”:“11111111”,“name”:“张三”,“age”:22,“update_time”:“2021-12-30 15:20:01”} => 窗口触发通过系统时间前进到达触发条件，触发窗口

在这里插入图片描述

sanhongbo
关注
专栏目录
第三十二篇：Flink 计算 PV、UV 时间窗口设计
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 757
你好，欢迎来到第 32 课时，本课时我们主要讲解“Flink 计算 PV、UV 中的时间窗口设计”。 我们在第 31 课时中讲过，在计算 PV 和 UV 等指标前，用 Flink 将原始数据进行了清洗，清洗完毕的数据被发送到另外的 Kafka Topic 中，接下来我们只需要消费指定 Topic 的数据，然后就可以进行指标计算了。 Flink 消费 Kafka 数据反序列化 上一课时定义了用户的行为信息的 Java 对象，我们现在需要消费新的 Kafka Topic 信息，并且把序列化的消息转化为用户的行为
Flink时间和窗口
L
07-24 1267
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
【FLINK学习笔记】 FLINK WINDOW(窗口)详解
qq_37023928的博客
01-31 570
一、Window 分类 Global Window 和 和 Keyed Window 在运用窗口计算时，Flink根据上游数据集是否为KeyedStream类型，对应的Windows 也会有所不同。 Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API 的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Key 统 计的结果。 Global Window：如果是 Non-Keyed 类型，则调用
Flink入门-Window窗口
最新发布
似水_逆行的博客
09-03 1318
Flink入门-Window窗口
Flink学习笔记（五）窗口详解
zhang09090606的博客
03-26 732
Flink中Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。
Flink中的窗口
m0_37689903的博客
06-25 3131
本文主要介绍了窗口的分类以及各个窗口的API
Flink窗口机制详解
qq_43523503的博客
03-18 3394
Flink的窗口机制 6.1.1 窗口概述 窗口window是用来处理无限数据集的有限块。窗口就是把流切成了有限大小的多个存储桶bucket 流处理应用中，数据是连续不断的，因此我们不能等所有的数据来了才开始处理，当然也可以来一条数据，处理一条数据，但是有时候我们需要做一些聚合类的处理，例如：在过去的一分钟内有多少用户点击了网页。这种情况下，就适合定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口的数据进行计算。 6.1.2 窗口分类 基于时间的窗口（时间驱动） 基于元素的窗口（数据驱动） ke
Flink窗口
qq_38016945的博客
09-04 1136
除了由时间驱动之外， 窗口其实也可以由数据驱动，也就是说按照固定的数量，来截取一段数据集，这种窗口叫作“计数窗口”（Count Window），如图。这很好理解，“会话”终止的标志就是“隔一段时间没有数据来”，如果不依赖时间而改成个数，就成了“隔几个数据没有数据来”，这完全是自相矛盾的说法。滑动的距离代表了下个窗口开始的时间间隔，而窗口大小是固定的，所 以也就是两个窗口结束时间的间隔；在这种情况下，我们 就可以定义一个窗口，收集最近一分钟内的所有用户点击数据，然后进行聚合统计，最终输出 一个结果就可以了。
Flink窗口无法触发问题排雷
野狼e族 的博客
02-18 4534
Flink窗口无法触发排雷 1.序篇-先说结论 博主希望你在看完本文后一定要养成这个编程习惯：使用 DataStream API 实现 Flink 任务时，Watermark Assigner 能靠近 Source 节点就靠近 Source 节点，尽量前置。 要想问为啥，接着往下看！！！ 我从以下几个章节说明上述的问题以及为什么这样建议，希望能抛砖引玉，带给大家一些启发。 ⭐ 踩坑场景篇-这个坑是啥样的 ⭐ 问题排查篇-坑的排查过程 ⭐ 问题原理解析篇-导致问题的机制是什么 ⭐ 避坑篇-如何避免这种问题 ⭐
Flink Window窗口机制和延迟处理
小财迷嘻嘻的博客
01-05 2276
java版本：Flink Window窗口机制 1、窗口 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。 当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。 在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。 窗口可以是基于时间驱动的（Time Window，例如：每30秒钟） 也可以是基于数据驱动的（Count Window，例如：每一百个
208.Flink（三）：窗口的使用，处理函数的使用
鹏哥哥Aaa
09-27 1547
窗口的使用，处理函数的使用
Flink 中的窗口
m0_63475429的博客
10-15 2022
更加高效的做法是，把无界流进行切分，每一段数据分别进行聚合，结果只输出一次。这 就相当于将无界流的聚合转化为了有界数据集的聚合，这就是所谓的“窗口”（Window）聚合 操作。在实际应用中，我们往往更关心一段 时间内数据的统计结果，比如在过去的 1 分钟内有多少用户点击了网页。在这种情况下，我们 就可以定义一个窗口，收集最近一分钟内的所有用户点击数据，然后进行聚合统计，最终输出 一个结果就可以了。在流处理中，我们往往需要面对的是连续 不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处理。
Flink学习22：窗口的划分
hzp666的博客
08-31 890
主要有2种窗口，一个基于时间窗口，一个是基于数据窗口。时间窗口中起止时间是，左闭右开。
Flink——Time&Windows&Watermark
困而学之，学思并重
04-25 402
主要内容： - 介绍Time、Window、Watermark的基本概念 - 介绍几个实现案例
Flink 源码分析之 Flink startupMode 是如何起作用的
u013939918的博客
07-31 1119
之前一直有个疑问，如果consumer.setStartFromLatest()以及kafkaProperties.put("auto.offset.reset", "earliest")同时存在，究竟哪一个会起作用，答案肯定是consumer.setStartFromLatest()，为什么呢？我们一起来看一下 @Override public void open(Configuration configuration) throws Exception { // determine th.
flink-sql所有语法详解
热门推荐
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
flink 1.11新特性
10-26 2565
sql部分不兼容的地方 时间属性 proctime/event_time类型必须定义为timestamp(3)，否则会报错。   在1.11中，ts timestamp，相当于定义timestamp(6)。 而时间属性类型为timestamp(3) 在1.9中，time attr在传递的时候回自动将类型转换为timestamp类型。在1.11中，这不会发生， 传递的类型是LocalDateTime。如果需要，需要你自己定义类型绑定：  /**     * T
Flink窗口及其分类-详细说明
勇敢牛牛，不怕困难！
11-19 5661
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之下，我们应该把窗口理解成一个“桶”。在 Flink 中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。
Flink WaterMark的生成以及获取
lvwenyuan_1的博客
06-10 6456
1.什么是WaterMark WaterMark是Flink用来处理时间乱序的一种机制。用来过滤掉由于网络或者其他原因，而迟来的脏数据。 2.基本使用 WaterMark绝大部分时候是和eventTime配合使用，可能有的同学非要用Processing Time，那也是可以的，只要加上env.getConfig().setAutoWatermarkInterval(200);...
详细说明Flink流式处理
03-11
Flink提供了许多高级的流式处理功能，例如窗口、状态管理、时间处理等，可以帮助开发人员轻松地处理复杂的流式数据。Flink还支持批处理，可以在同一个框架中处理批处理和流式处理任务。Flink的核心是一个分布式数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值