Flink的WaterMark详解

最新推荐文章于 2022-03-22 19:27:32 发布
最新推荐文章于 2022-03-22 19:27:32 发布
阅读量1.1k 收藏
点赞数
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43854618/article/details/105138220
版权
本文介绍了Flink的WaterMark概念，它用于处理事件时间语义下的数据乱序。Flink提供三种时间语义：Event Time、Ingestion Time和Processing Time。WaterMark作为一种特殊数据，确保单调递增，用于标记已接收的最早可能迟到的数据点。通过图示解释了WaterMark在Flink并行任务中的传递，并展示了如何在数据流中引入WaterMark，包括使用AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks接口来自定义WaterMark生成策略。
摘要由CSDN通过智能技术生成

  • WaterMark是什么？
    在了解Flink的WaterMark之前先要了解Flink的时间语义。在Flink里面有三种时间语义：
    ①Even Time：事件创建的时间，时间在数据里面。
    ②Ingestion Time：数据进入Flink的时间。
    ③Processing Time：处理数据的本地系统时间。
    由于网络或者分布式系统的原因，在进入Flink的数据里面有的数据是乱序的，如果乱序了，要有一种机制来防止乱序数据影响到数据的最后处理结果，那么WaterMark就是避免乱序数据带来的计算不正确的。
    WaterMark是一条特殊的数据，它有一个值，比如设定了延迟是一分钟，先在WaterMark已经涨到了10：00了，说明10：00以前的数据都已经到齐了，9：59分的数据就可以发车了。WaterMark必须是单调递增的，它与数据的时间戳有关。
    下面通过图示来介绍WAaterMark的传递：
    在这里插入图片描述
    如图所示，在Flink的任务中有四个并行的子任务，它们初始的WaterMark分别是2，4，3，6，然后第一个子任务的WaterMark为4的数据来着，到达之后就更新自己的WaterMak变成4，那么就说明这个子任务的4之前的数据都到了，其他子任务也是一样。

  • WaterMark的引入和设定
    引入watermark只需要在数据流里添加一个方法即可：

最低0.47元/天 解锁文章
情深不仅李义山
关注
专栏目录
Flink WaterMark 详解及结合 WaterMark 处理延迟数据
http://www.54tianzhisheng.cn/
09-22 726
在 3.1 节中讲解了 Flink 中的三种 Time 和其对应的使用场景，然后在 3.2 节中深入的讲解了 Flink 中窗口的机制以及 Flink 中自带的 Window 的实现原理和使用方法。如果在进行 Window 计算操作的时候，如果使用的时间是 Processing Time，那么在 Flink 消费数据的时候，它完全不需要关心的数据本身的时间，意思也就是说不需要关心数据到底是延迟数据...
Flink基础（五）：WaterMark详解
weixin_42155491的博客
03-15 3433
一、WaterMark机制引入的背景 前面提到了Time的概念，如果我们使用Processing Time，那么在 Flink 消费数据的时候，它完全不需要关心的数据本身的时间，意思也就是说不需要关心数据到底是延迟数据还是乱序数据。因为 Processing Time 只是代表数据在 Flink 被处理时的时间，这个时间是顺序的。 但是如果你使用的是 Event Time 的话，那么你就不得不面临...
flink-watermark（水印）
qq_36532358的博客
06-23 2451
一、什么是flink-watermark（水印） 1.1官方字面介绍 Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。 当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。 也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。 1.2代码层面 public final class Watermark extends StreamElement
Flink：watermark
啥也不会的博客
05-26 4681
三种时间概念 在谈watermark之前，首先需要了解flink的三种时间概念。在flink中，有三种时间戳概念：Event Time 、Processing Time 和 Ingestion Time。其中watermark只对Event Time类型的时间戳有用。这三种时间概念分别表示： Processing time 处理时间，指执行算子操作的机器的当前时间。当基于处理时间运行时，所有关于时间的操作（如时间窗口）都将使用执行算子操作的机器的本地时间。例如，当时间窗口为一小时时，如果应用程序在9:
Flink watermark
jsutyq的专栏
03-10 347
在Flink中支持三种不同的时间概念：处理时间（processing time）、事件时间（event time）、摄取时间（Ingestion time）。 而水印是衡量event time 进展的一种机制，它通常基于事件时间数据属性产生，水印作为数据流的一部分流动并带有时间戳t，代表该时间点以前的数据都已经到达。 watermark主要是用于处理乱序事件。而正确的处理乱序事件，通常用wat...
Flink之Watermark
Baron_ND的博客
10-30 399
Flink之Watermark 在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，假如我们实时处理蒸漂亮同学的行为，结果蒸漂亮恰好网络异常，本来我们窗口设置的5秒一算，而她刚才的行为恰巧属于上一个5秒窗口A计算的，但是网络异常后使得她的这次行为数据进入了到了下一个5秒B中计算。那么我们的计算是不是就存在了问题！！所以这时我们就需要去了解下咱们的Watermark了，当然为了理解的更清晰会再举例介绍！ 1.1 基本概念之是什么 推迟窗口触发的时间，实现方式：通过当前窗口中最大的eventTime-延
flink 中的Watermark
weixin_44715126的博客
04-11 1063
理解 flink中的watermark watermark 原理
Flink Watermark机制详解与应用
Flink Watermark是Apache Flink流处理框架中的一个关键概念，用于处理实时流数据中的事件时间（EventTime）窗口操作。它帮助系统理解和处理数据的延迟，确保事件的正确排序和窗口处理的准确性。在Flink中，Watermark...
Flink之窗口函数以及watermark详解
weixin_49165958的博客
01-05 815
1 Time与Window 1.1 Flink中涉及的时间 - **Event Time**：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每⼀条⽇志都会记录⾃己的生成时间，Flink通过时间戳分配器访问事件时间戳。- **Ingestion Time**：是数据进入Flink的时间。- **Processing Time**：是每⼀个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。 ## 1.2 Window 1.2.1 Win
Flink-watermark
qq_30868737的博客
01-28 240
1 基本概念 Flink中可以让window延迟触发的一种机制 我们知道，流处理从事件产⽣，到流经source，再到operator，中间是有⼀个过程和时间的，虽然⼤部分情况下，流到operato的数据都是按照事件产⽣的时间顺序来的，但是也不排除由于⽹络、背压等原因，导致乱序的产⽣，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。 那么此时出现⼀个问题，⼀旦出现乱序，如果只根据eventTime决定window的运⾏，我们不能明确数据是否全部到位，但⼜不能
Flink WaterMark
小杨的技术博客
03-27 2万+
文章目录背景概念window划分示例提取watermarkAssignerWithPeriodicWatermarksAssignerWithPunctuatedWatermarks使用设置数据流时间特征代码代码详解试验第一次第二次第三次第四次第五次第六次结论总结Flink如何处理乱序？Flink何时触发window？Flink应该如何设置最大乱序时间？参考 背景 实时计算中，数据时间比较敏感。...
Flink的Watermark机制
m0_61607827的博客
03-22 1146
0x00 摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 0x01 问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答这些问题以给大家一个大致概念，在后文中，会再深入描述。 问题1. Flink 流
Flink流计算编程--watermark（水位线）简介
热门推荐
lmalds的专栏
09-30 6万+
1、watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016
flink的watermark简单理解
lixia0417mul2的博客
09-30 1309
1.flink的watermark的作用是处理乱序，核心有两点： a.延迟等待一段时间，等乱序的数据到达 b.不能一直等，得有个限度，到了时间点没到，那么后面再来的乱序数据只能丢弃 2.对某个时间窗开始统计的依据是: a.watermark>window.endtime b.[window.starttime,window.endtime)里面有数据 3.假设Event1到达，对应的时间窗口是[starttime1,endtime1] 情况a. watermark1的值处于窗口中，此时来了一个Even
Flink WaterMark 详解
张伟的专栏
02-16 1122
https://blog.csdn.net/hellojoy/article/details/100935362 背景 image 实时计算中，数据时间比较敏感。有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯
Flink Watermark
magicpenta的博客
08-24 755
Watermark 是什么 在基于 event time 的实时计算中，我们常常会碰到 乱序数据 的场景。 在理想情况下，我们以为我们的数据流会是这样的： 但实际上受网络波动等影响，大多数情况下是这样的： 在这种乱序的场景下，数据丢失是必然的。假设我们有一个大小为 [0, 5) 的窗口（单位为秒），当上述 event time 为 5 的元素输入时，该窗口会触发计算并关闭，导致后续流入的元素（2、3、4）找不到对应窗口而丢失。 为了解决这种乱序数据带来的数据丢失问题，Flink 提供了 Watermar
flink watermark
u012447842的博客
07-02 268
flink中关于时间的三个概念： event time： 事件时间: 数据产生的时间 processing time: 处理时间：当前机器处理该条事件的时间 ingest time: 摄入时间：事件进入flink的时间 watermark是用于处理flink乱序事件的，通常用watermark机制结合window来实现。 案例： 窗口 [...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值