Flink基础学习记录（四）水位线

最新推荐文章于 2024-10-16 23:24:00 发布
最新推荐文章于 2024-10-16 23:24:00 发布
阅读量309 收藏 6
点赞数 1
分类专栏： Flink基础学习记录 文章标签： flink 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuliangwan_jiangyan/article/details/137799846
版权
本文详细探讨了时间语义中的事件时间、水位线概念及其在处理有序和乱序数据中的应用。介绍了水位线的工作原理、生成策略，以及如何处理迟到数据和窗口的动态创建。还涉及了水位线的传递机制和空闲等待策略，以及迟到数据的管理和窗口的推迟关闭。
摘要由CSDN通过智能技术生成

时间语义

事件时间

数据产生的时间

处理时间

数据真正被处理的时刻

水位线（WaterMark）

概念

有序数据（理想）

乱序数据（现实）

处理迟到数据

水位线特性

学吧你就，一学一个不吱声

水位线和窗口的工作原理

每个窗口是独立的新桶，不是复用一个桶。可能会同时出现多个桶。

窗口并非事先创建好，而是动态创建的！！！桶2，当11来了时，才创建。

触发计算 和 窗口关闭 是两个动作！！

生成水位线

原则

对低延迟和结果正确性做权衡。

API

水位生成策略

有序

WatermarkStrategy.forMonotonousTimestamps()

乱序

WatermarkStrategy.forBoundedOutOfOrderness()

水位线生成原理

乱序

升序

原理

水位线的传递

1、watermark代表某个算子的进度

2、选并行度中最小的事件时间，作为水位线

3、下游多并行度，将水位线广播给下游

水位线空闲等待

因为水位线会选取并行度中水位线最小的，但是某个并行度长时间不来新数据，会导致水位线一直无法推进，窗口无法触发。

这里可以设置空闲等待时长，超过这个时间，则不再考虑

迟到数据处理

窗口允许迟到

推迟关窗

注意：和触发计算是两个动作，不影响触发计算

侧输出流

迟到数据总结

Flink之事件时间、水位线
打工日常
10-06 529
Flink为常见的事件时间处理操作提供了直观且易于使用的原语，同时暴露了表达性很强的API，用户可以使用自定义算子实现更高级的事件时间应用程序。很好地理解Flink的内部时间处理，对于实现这样的高级应用程序会有很大帮助，有时也是必需的。上一章介绍了Flink利用两个概念来支持事件时间语义：记录时间戳（timestamps）和水位线（watermarks）。接下来，我们将描述Flink如何在内部实现并处理时间戳和水位线，进而支持具有事件时间语义的流式应用程序。 时间戳（Timestamps） 由Flink事件
【Flink】时间语义和水位线的概念和使用
weixin_43923463的博客
11-28 879
当Flink接收到数据时，会按照一定的规则去生成Watermark，这条Watermark就等于当前所有到达数据中的maxEventTime - 最大延迟时长 -1ms，也就是说，Watermark是基于数据携带的时间戳生成的，一旦Watermark比当前未触发的窗口的停止时间要晚，那么就会触发相应窗口的执行。的-4001ms的水位线，其不能够跳过这个算子向前传送。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。
Flink流计算编程--watermark（水位线）简介
热门推荐
lmalds的专栏
09-30 6万+
1、watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016
Flink中的水位线
weixin_63257947的博客
05-03 548
在Flink中，用来衡量事件时间进展的标记，就被称作“水位线”（Watermark）。具体实现上，水位线可以看作一条特殊的数据记录，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前的事件时间。而它插入流中的位置，就应该是在某个数据到来之后；这样就可以从这个数据中提取时间戳，作为当前水位线的时间戳了。周期性生成器一般是通过onEvent()观察判断输入的事件，而在onPeriodicEmit()里发出水位线。import org。
Flink之水位线（Watermark）
四维大脑的博客
04-25 7788
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下 Flink 中的时间语义和窗口的应用。
flink学习记录之水位线
pasen_newer的博客
02-23 1880
水位线的概念理解及工作原理： watermark是用于处理由于网络、背压等原因产生的乱序事件，窗口结束时间+延迟时间=最大waterMark值，即当waterMark值大于的上述计算出的最大waterMark值，该窗口内的数据就属于迟到的数据，无法参与window计算；代码中生成水位线的时间（即调用assignTimestampsAndWatermarks（WatermarkStrategy<T>watermarkStrategy）方法的时间）可为source之后，也可为使用算子之后，。 真
Flink时间窗口和水位线
m0_57697768的博客
06-11 1809
当一个窗口被触发计算完成后，窗口中的元素会被清除，并且该窗口的状态也会被清除。窗口的触发计算和窗口关闭是两个不同的操作，使用allowedLatenessAIP设置窗口的推迟关闭，即使水位线触发了关窗，因为设置的推迟关窗，窗口只会触发计算，之后属于该窗口的迟到数据到来后仍会触发计算，只有水位线到达延迟关窗时间后窗口才会真正关闭。时间窗口的水位线是参考所有上游任务发送的最小的水位线的，如果存在一个上游任务一直没有数据发送，那么该上游任务的水位线为Long的最小值，窗口将无法触发，所以设置空闲等待时间；
flink学习之水位线
2301_80792800的博客
01-19 1133
flink 水位线是什么
flink中的时间语义和水位线及迟到处理
03-30
### Flink中的时间语义、水位线及迟到数据处理详解 #### 一、窗口的作用与分类 **1.1 窗口的作用** 在Flink的流处理中，窗口是一种重要的机制，它将无限的数据流分割成有限的片段来进行处理。这种分割使得流处理...
Flink详解系列之五--水位线（watermark）
wr_java的博客
04-13 2173
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
【FLink】水位线（Watermark）
lxtx
11-21 4635
在Flink中，用来衡量事件时间进展的标记，就被称作“水位线”（Watermark）。说白了就是事件时间戳。
flink中窗口和水位线-基于DataStream API
最新发布
weixin_44437669的博客
10-16 482
在之前的文章中，有在FllinkSQL来实现窗口和水位线—flink中水位线和窗口的工作原理，这次使用DataStream API的方式来实现窗口和水位线，
flink水位线简介
hzp666的博客
12-26 746
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。
flink的水位线详解
hzp666的博客
12-28 640
水位线在事件时间的世界里面，承担了时钟的角色。也就是说在事件时间的流中，水位线是唯一的时间尺度。如果想要知道现在几点，就要看水位线的大小。后面讲到的窗口的闭合，以及定时器的触发都要通过判断水位线的大小来决定是否触发。水位线是一种特殊的事件，由程序员通过编程插入的数据流里面，然后跟随数据流向下游流动。水位线的默认计算公式：水位线 = 观察到的最大事件时间 – 最大延迟时间 – 1 毫秒。所以这里涉及到一个问题，就是不同的算子看到的水位线的大小可能是不一样的。
Flink水位线之watermark原理及实战
test_test111的专栏
07-22 1076
watermark概念 Flink 实际上是用 watermarks来实现 Event - Time 的功能。watermark在Flink中也属于特殊事件，其精髓在于当某个运算值收到 。带有时间戳“T”的watermarks时就意味着它不会接收到新的数据了。 使用watermark的好处在于可以准确预估收到数据的截止时间。举例，假设预期收到数据时间与输出结果时间的时间差延迟 5分钟，那么Flink 中所有的windows Operator 搜索 3点至4点的数据，但因为存在延迟需要再多等5 分钟直至收
Flink Time中Watermaker 水位线机制详解
LBJ_小松鼠的博客
03-08 759
1. Flink Time中水位线的引入 简介: 针对前面讲解基于事件时间EventTime窗口分析，默认情况下，如果某个窗口触发计算以后，再来一条窗口内的数据，此时不会计算这条数据，而是直接丢弃。 在实际业务数据中，数据乱序到达流处理程序，属于正常现象，原因在于网络延迟到导致数据延迟，无法避免的，所以应该可以允许数据延迟达到（在某个时间范围内），继续计算。 比如允许数据最大乱序延迟时间为2秒，那么此时只要符合时间范围乱序时间都会处理，此种机制：Watermark水位线。 什么是watermaker机制:
聊聊flink水位线
Deepexi_Date的博客
06-21 1280
flink中比较重要的是时间和状态，学习flink的过程中对水位线的理解一直模糊，经过一段时间的消化，在此总结总结。本文主要把水位线是什么，怎么来的，有什么用描述清楚。
Flink水位线理解（带图且详细）
Doris0214的博客
11-13 8682
问题导读 1.什么是水位线？ 2.水位线的作用是什么？ 3.水位线的本质是什么？ 4.水位线是为了解决什么问题？ 刚接触Flink，可能你听说过“水印”或则“水位线”，但是技术领域为何会出现非技术词汇，到底什么是水位线，这两个陌生的词汇，给Flink蒙上了一层神秘的面纱。 这里我们就为大家揭开Watermark的神秘面纱。 回到Flink场景中来，Flink被称为终极流式框架，它是真正的流式处理，...
Flink水位线传递
weixin_43527591的博客
02-06 795
本文主要介绍Flink水位线（watermark）的传递理论与原理
flinksql获取窗口的水位线
08-30
### 回答1： FlinkSQL 可以通过使用 TUMBLE、HOP 和 SESSION 窗口来获取窗口的水位线。在 TUMBLE 窗口中，水位线是窗口结束时间减去窗口大小；在 HOP 窗口中，水位线是窗口结束时间减去滑动步长；在 SESSION 窗口中，水位线是最后一条记录的时间戳加上间隔时间。 ### 回答2： Flink SQL是Apache Flink提供的一种用于处理流数据的SQL查询语言，可以对流式数据进行实时的计算和分析。在Flink SQL中，可以通过一些内置的函数和关键字来获取窗口的水位线。 水位线（Watermark）是用于处理事件时间的一种机制，用于处理无序事件流时，标记数据流中事件的时间顺序。水位线可以用来控制窗口的触发和计算，确保在窗口关闭之前，所有事件都已经到达。 要获取窗口的水位线，可以使用Flink SQL中提供的内置函数`CURRENT_WATERMARK`。这个函数用于获取当前的水位线时间戳，可以在SQL查询中使用。 例如，我们可以使用以下语句来获取一个滚动窗口（TUMBLE）的水位线： ``` SELECT TUMBLE_END(rowtime, INTERVAL '1' HOUR) AS window_end, CURRENT_WATERMARK() AS watermark FROM myTable GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR) ``` 在上面的查询中，我们首先通过`TUMBLE`函数定义了一个1小时的滚动窗口，并且使用`TUMBLE_END`函数将窗口的结束时间作为查询结果的一列。然后，在`SELECT`语句中使用`CURRENT_WATERMARK`函数获取当前的水位线时间戳，并将其作为查询结果的另一列。最后，使用`GROUP BY`语句将数据按照窗口进行分组。 通过执行上面的查询，我们可以获取到每个窗口的结束时间和当前的水位线时间戳。这样可以帮助我们了解数据流的进度，并在需要时触发窗口的计算和结果输出。 总之，通过使用Flink SQL中的内置函数`CURRENT_WATERMARK`，我们可以方便地获取窗口的水位线，从而对流式数据进行更加精确的处理和计算。 ### 回答3： Flink SQL 是 Apache Flink 提供的一种使用 SQL 语句处理数据流的方式。在 Flink SQL 中，可以通过使用窗口操作来对数据流进行分组聚合操作，并且可以获取到窗口的水位线。 水位线（Watermark）是 Flink 中用于处理事件时间（Event Time）语义的重要概念，用于表示消息流中的事件时间进展。在使用窗口操作时，通常需要根据水位线确定窗口的触发时机。 要获取窗口的水位线，首先需要在 SQL 语句中定义一个 EventTime 字段，并且通过 `WATERMARK FOR` 关键字为该字段指定一个水位线生成器。水位线生成器可以使用系统提供的一些预定义的生成策略，也可以自定义实现。 以下是一个示例的 Flink SQL 语句，用于定义一个基于事件时间的窗口，并获取窗口的水位线： ``` CREATE TABLE sensor ( id STRING, temperature DOUBLE, eventTime TIMESTAMP(3), WATERMARK FOR eventTime AS eventTime - INTERVAL '5' SECOND ) WITH ( 'connector.type' = 'kafka', 'connector.topic' = 'sensor-topic', 'connector.startup-mode' = 'latest-offset', 'format.type' = 'json' ); SELECT HOP_START(eventTime, INTERVAL '1' MINUTE) AS windowStart, HOP_END(eventTime, INTERVAL '1' MINUTE) AS windowEnd, WATERMARK(eventTime) AS watermark FROM sensor GROUP BY HOP(eventTime, INTERVAL '1' MINUTE, INTERVAL '10' SECOND); ``` 在上述示例中，首先通过 `CREATE TABLE` 语句定义了一个名为 sensor 的表，其中包含了一个 eventTime 这个字段，并使用 `WATERMARK FOR` 设置了水位线生成器，该生成器会根据 eventTime 减去一个固定的时间间隔来生成水位线。然后使用 `SELECT` 语句获取了基于事件时间的窗口的开始时间、结束时间以及对应的水位线。 总结来说，对于 Flink SQL 来说，要获取窗口的水位线，可以通过在 SQL 语句中定义一个 EventTime 字段，并在该字段上使用 `WATERMARK FOR` 关键字指定一个水位线生成器，然后在查询语句中使用 `WATERMARK` 函数获取窗口的水位线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值