flink中的Watermark

最新推荐文章于 2024-08-03 01:36:20 发布
最新推荐文章于 2024-08-03 01:36:20 发布
阅读量547 收藏 1
点赞数 1
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31945139/article/details/109608487
版权
本文详细介绍了Flink中的Watermark概念，作为衡量Event Time进展的有效机制，Watermark确保了实时计算中窗口聚合的正确性，尤其是在处理乱序事件时。文章通过定义、语法和实例解释了如何在数据源表中使用Watermark，并强调了Event Time和Processing Time的使用场景，以及在处理非13位时间戳时的转换方法。
摘要由CSDN通过智能技术生成

Watermark

实时计算可以基于时间属性对数据进行窗口聚合。基于Event Time时间属性的窗口函数作业中，数据源表的声明中需要使用Watermark方法。

定义

由于实时计算的输入数据是持续不断的，因此我们需要一个有效的进度指标，来帮助我们确定关闭时间窗口的正确时间点，保证关闭窗口后不会再有数据进入该窗口，可以安全输出这个窗口的聚合结果。而Watermark就是一种衡量Event Time进展的有效机制。随着时间的推移，最早流入实时计算的数据会被处理完成，之后流入的数据处于正在处理状态。处于正在处理部分的和已处理部分的交界的时间戳，可以被定义为Watermark，代表在此之前的事件已经被处理完成并输出。

针对乱序的流，Watermark也至关重要，即使部分事件延迟到达，也不会影响窗口计算的正确性。此外，并行数据流中，当算子（Operator）有多个输入流时，算子的Event Time以最小流Event Time为准。

语法

最低0.47元/天 解锁文章
380884531
关注
专栏目录
Flink中Watermark定时生成源码分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 703
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下： //指定为evenTime时间语义 env.setStreamTimeCharact
【FLINK】浅谈Flink中WaterMark原理和特点
SmallScorpion
03-01 1387
首先我们需要知道 当Flink以Event Time(事件时间) 模式处理数据时。Flink会以处理的数据自身所带的时间戳来对代码中基于时间的算子进行逻辑和计算。 WaterMark为单调递增的一个特殊的数据 定义一条数据流 定义窗口和WaterMark 第一条数据 第二条数据 第三条数据 第四条数据 第五条数据 第六条数据 第七条数据 第八条数据 第九条数据 第十条数据 第十一条数据 第十二条数据 第十四条数据 通过暴力的画图已经有了一个比较清晰的了解了对于Wat
Apache Flink中Watermark、Window、State三者的关系
石权的博客
05-29 2412
Watermark和Window的关系？Window和Watermark是基于key的么?Window和State的关系？本文主要从这三个问题入手来理解Watermark、Window、State三者之间的联系
flink-sql所有语法详解
热门推荐
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
Flink 时间属性及 WATERMARK 水印
最新发布
实践出真知
08-03 1166
水位线的生成是一个基于事件时间的机制，主要目的是处理乱序数据，确保窗口计算的准确性。通过设定一个最大延迟时间，水位线可以有效地处理乱序事件，并在适当的时间点触发窗口计算。
Flink之水位线（Watermark）
四维大脑的博客
04-25 7636
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下 Flink 中的时间语义和窗口的应用。
flink的Watermark
黑曼巴
08-08 84
官网地址
Flink之Watermark
m0_43437171的博客
02-18 1068
punctuated:每条数据后都会插入当前事件时间解析出来的watermarkperiodic:周期性生成，默认是200m生成一个watermark在新版本中punctuated已经被标记为过时(当前版本1.18.1)watermark的构造：1.forMontonousTimestamps:时间戳单调递增策略2.forBoundedOutOfOrderness:为乱序数据创建水位线策略3.forGenerator:自定义策略。
flink watermark
taihexuelang的专栏
05-15 273
watermark是为解决事件流乱序问题，如果，A，B两个端，A把10点15日志发送到服务端，B发送10.12的日志，但是因为B网络延迟，造成服务器在10点16时候做数据统计的时候A的数据到了，B的数据没有到造成数据丢失。 watermark 是一个触发计算的阀门，事件流来的时候，都会根据事件的时间创建或者更新这个阀门（取最大的），一旦阀门值大于等于流窗口结束时间，就会触发计算。 比如：下图，每行数据就是一个事件流，事件时间(eventTime)和上一个事件最大时间比较取最大值（MaxTImesTamp
1分钟理解Flink中Watermark机制
m0_68470434的博客
09-07 2799
1分钟理解Flink中Watermark
【深入浅出flink】第13篇：从源码解读flink中Watermark的周期性和间断式生成方式
雷恩Layne
01-27 2127
我们通常通过DataStream的assignTimestampsAndWatermarks方法引入Watermark，assignTimestampsAndWatermarks方法中要求传入的接口有两种，一种是AssignerWithPeriodicWatermarks（周期性生成Watermark的时间戳分配器），另一中是AssignerWithPunctuatedWatermarks（间断式生成Watermark的时间戳分配器），它们都是TimestampAssigner(时间戳分配器)接口的子接口。
Flink实操 : Watermark
张伯毅的专栏
03-09 1225
.一 .前言二 .概念2.1. Flink 时间语义2.2. 时间的特性2.3. Timestamp 分配和 Watermark 生成2.4. Watermark 传播2.5. ProcessFunction2.6. Watermark 处理2.7.多流的Watermark三 .代码实例 一 .前言 二 .概念 2.1. Flink 时间语义 在不同的应用场景中时间语义是各不相同的，Flink 作为一个先进的分布式流处理引擎，它本身支持不同的时间语义。 其核心是 Processing Time 和 Eve
Flink 水位线（Watermark）
weixin_45417821的博客
04-16 3834
文章目录什么是水位线水位线的特性如何生成水位线Flink 内置水位线生成器自定义水位线策略在自定义数据源中发送水位线水位线的总结 在实际应用中，一般会采用事件时间语义。而水位线，就是基于事件时间提出的概念。一个数据产生的时刻，就是流处理中事件触发的时间点，这就是“事件时间”，一般都会以时间戳的形式作为一个字段记录在数据里。这个时间就像商品的“生产日期”一样，一旦产生就是固定的，印在包装袋上，不会因为运输辗转而变化。如果我们想要统计一段时间内的数据，需要划分时间窗口，这时只要判断一下时间戳就可以知道数据属于哪
Flink：watermark
啥也不会的博客
05-26 4664
三种时间概念 在谈watermark之前，首先需要了解flink的三种时间概念。在flink中，有三种时间戳概念：Event Time 、Processing Time 和 Ingestion Time。其中watermark只对Event Time类型的时间戳有用。这三种时间概念分别表示： Processing time 处理时间，指执行算子操作的机器的当前时间。当基于处理时间运行时，所有关于时间的操作（如时间窗口）都将使用执行算子操作的机器的本地时间。例如，当时间窗口为一小时时，如果应用程序在9:
flink 学习（十一）Watermark
码易的博客
04-21 2238
目录前言一、时间语义二、Watermark三、AscendingTimestampsWatermarks 前言 一、时间语义 1、Event Time         事件时间，是事件发生时的时间，在数据中带有描述时间的字段，由于从事件发生时到数据处理的过程中会经过不同的时间段，事件发生时间则很好的描述了数据的原始时间。相比其他时间语义，Event Time的事件时间是确定的，可以使用数据中的时间，也可以在数据到达flink之
【Flink】Flink 中的时间和窗口之水位线(Watermark)
菜鸟sdut的博客
06-26 2198
在事件时间语义下，我们可以不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。这样每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。但是在分布式系统中，会存在一些问题，因为数据本身在处理转换过程中会发生变化，如果遇到窗口聚合的操作，呢么下游的数据就会变少，时间进度的控制就不精细了。另外，数据向下游任务传递时，一般只能传输给一个子任务（除广播外），这样其他的并行子任务的时钟就无法推进了。所以时钟也需要以数据的形式传递出去，告诉下游任务当前时间的进展；
【FLink】水位线（Watermark）
lxtx
11-21 3818
在Flink中，用来衡量事件时间进展的标记，就被称作“水位线”（Watermark）。说白了就是事件时间戳。
Flink基础（五）：WaterMark详解
weixin_42155491的博客
03-15 3408
一、WaterMark机制引入的背景 前面提到了Time的概念，如果我们使用Processing Time，那么在 Flink 消费数据的时候，它完全不需要关心的数据本身的时间，意思也就是说不需要关心数据到底是延迟数据还是乱序数据。因为 Processing Time 只是代表数据在 Flink 被处理时的时间，这个时间是顺序的。 但是如果你使用的是 Event Time 的话，那么你就不得不面临...
浅谈对flink的watermark理解
youhebuke_f的博客
10-15 686
浅谈对flink中watermark机制的理解
flink的watermark
09-06
在Flink中，Watermark是一种用于衡量Event Time进展的机制。它用于处理实时数据中的乱序问题，并常与窗口结合使用来实现事件的有序处理。Watermark可以被理解为一种时间戳标记，表示在该标记之前的事件都已经到达，因此可以触发窗口计算。Watermark的生成可以通过实现WatermarkGenerator接口来实现，该接口包含了onEvent和onPeriodicEmit两个方法来生成Watermark。在onEvent方法中，可以观察流事件数据，并在获取到带有Watermark信息的特殊事件元素时发出Watermark。而在onPeriodicEmit方法中，可以根据需要周期性地发出Watermark。同时，在Flink中，还可以通过WatermarkStrategy接口来定义Watermark的生成策略，该接口包含了createTimestampAssigner方法用于实例化一个可分配的时间戳生成器，以及createWatermarkGenerator方法用于实例化一个Watermark生成器。总之，Watermark在Flink中起到了衡量事件时间进展和触发窗口计算的重要作用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Flink:Watermark](https://blog.csdn.net/qq_24325581/article/details/117515189)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [1分钟理解Flink中Watermark机制](https://blog.csdn.net/m0_68470434/article/details/126742410)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值