Flink窗口与watermark

已于 2022-06-20 15:33:55 修改
阅读量323 收藏
点赞数
分类专栏： Flink 文章标签： flink 大数据 big data
于 2022-06-20 15:32:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matthew93/article/details/125373686
版权

Flink时间语义

事件事件 Event Time
处理时间 Process Time
进入时间 Ingestion Time

Watermark主要作用，及触发机制

Watermark是一种很亮Event Time进展的机制，用于处理乱序事件，单调递增的时间戳，数据流中的Wtermark用于表示timestamp小于Watermark的数据，都已经到达；
watermark（水位线，包含延迟） > 窗口结束时间

消息超过watermark的时间会丢失数据？

allowedLateness也是Flink处理原序事件的一个特别重要的特性，默认情况下，当wartermark通过window后，再进来的数据，也就是迟到或者晚到的数据就会被丢弃掉了，但是有时候我们希望在一个可以接受的范围内，迟到的数据，页可以被处理或者计算，这就是allowedLateness产生的原因
迟到的元素也可以使用侧输出(side output)特性被重定向到另外的一条流中，迟到的元素所组成的侧输出流可以继续处理或者sink到持久化

没有数据流的时候，窗口不会产生

Matthew117
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink allowedLateness 与 watermark 的区别
九师兄
06-14 1741
1.概述 60-300-022-使用-延迟数据-Flink中allowedLateness详细介绍 Flink对于乱序数据怎么办呢？ 方案就是 watermark。 watermark，直译为水位线，就是元素可以迟到多久才去关闭窗口。例如一个窗口是[0-5),，watermark允许最多延迟3s，那么一个6s的事件，它的watermark就应该是3，一个7s的watermark是4，这两个都落在窗口中 在flink流处理的Source中或者处理window之前，都可以通过调用assignTimestamp.
Flink 窗口的应用与实现.pdf
03-21
Flink 窗口的应用与实现
双指针
xzr_20010315的博客
12-25 122
[双指针问题] 优化问题 不优化使用暴力枚举是O（m*n）的时间复杂度 优化后变成线性的时间复杂度 利用单调性 进行时间复杂度的降阶 //双指针 先暴力 在利用单调性 降低时间复杂度 // 4 5 6 // 1 2 4 7 // 3 4 6 8 9结果输出为 1 1 代表 2 和4 加起来值为6 #include #include using namespace std; const int N=10010; int n,m,x; int a[N],b[N]; int main() { scanf("%d%
Flink之watermark和allowedLateness区别
heroking
01-28 3105
一、两者区别------写在最前面 watermark和allowedLateness区别 watermark 通过additional的时间戳来控制窗口激活的时间，主要是为了解决数据乱序到达的问题， allowedLateness 用来控制窗口的销毁时间，解决窗口触发后数据迟到后的问题。 二、watermark watermark在Flink中也称为 水位线或水印，它为流式数据每隔一段时间打...
区分理解Flink水印延迟与窗口允许延迟的概念
sinat_37719426的博客
08-23 243
WaterMark 到达之前，窗口在攒数据，不会触发计算。WaterMark 等于 windowEndTime 时，第一次触发窗口计算。WaterMark 到达之后，allowlateness之前，如果来了数据，每条数据都会触发窗口计算。超过了allowlateness之后到达的迟到数据会丢弃。水印用于解决乱序问题保证数据的完整性。而之所以有allowlateness的出现是因为如果WaterMark 加大会导致窗口计算延迟。WaterMark 设定的时间，是第一次触发窗口计算的时间。
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime...
【Flink篇07】Flink之时间语义和WaterMark1
08-04
如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：我们知道，流处理从事件产生，到流经source，再到operator，
Flink架构、原理与部署测试
01-27
ApacheFlink能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不...
flink 关闭窗口（watermark、allowedLateness允许延迟）
祁东握力的博客
06-01 2324
一、watermark 介绍在这篇文章https://blog.csdn.net/qq_36951116/article/details/106468171 如果只配置了watermark，没有设置allowedLateness。 当watermark的时间戳大于等于窗口的结束时间时，会关闭窗口，而且同时还会触发计算输出一次结果(如果1是全量计算则触发，增量的就不用触发了) 比如设置了watermark延迟时间为3000毫秒，以窗口0~5000毫秒为例，窗口结束时间为5000毫秒 可知waterm
flink之延迟数据处理watermark allowedLateness() sideOutputLateData()
cclovezbf的博客
10-23 3561
针对eventtime处理乱序数据，如何保证在需要的窗口内获得指定的数据？ flink采用watermark allowedLateness() sideOutputLateData()三个机制来保证获取数据 先来示例 import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.strea...
Flink从入门到精通
12-26
本课程从0到1进行Flink的介绍，对当下最火的大数据技术Flink进行深入解析，并结合实际电商项目快速掌握Flink的开发技术。
【5】flink窗口与水位线watermark例子
PacosonSWJTU的博客
05-09 1435
【README】 本文总结了flink时间语义和水位线的知识； 【1】时间语义 1）时间分类 Event Time： 事件创建的时间（事件发生时间）； Ingestion Time：数据进入flink的实际； Processing Time：执行算子的本地机器时间 ； 我们主要讨论的是 事件时间； 【2】水位线 ...
[白话解析] Flink的Watermark机制
王卫东 博客
04-12 564
对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。
Flink之WaterMarker详解
ChengYanan的博客
05-19 1328
前言 对于流计算来说，最核心的概念就是无穷数据集，而用来处理无穷数据集的计算就可以称为流计算。面对无穷数据集，有多种多样的处理方式，但是大致上可以分为四类： 1、时间无关：最基础的场景就是Filter，我们只关心我们想要的数据，这跟数据源是否是无穷的、失序都没有关系了。 2、近似算法：比如近似Top-N、流K-means聚类等。他们都以无穷数据为输入，并计算出差不多你想要的结果。 3、窗口：而窗口...
Flink之水位线（Watermark）
四维大脑的博客
04-25 7123
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下 Flink 中的时间语义和窗口的应用。
Flink教程(7) 时间特性、窗口、Watermark代码实践，支持Flink1.12
Java Spring Elasticsearch
12-17 2686
一、前言 时间、窗口和Watermark是Flink的很重要的概念，学习它们是掌握运用Flink的重中之重。 二、时间特性 在DataStream API中，你可以用时间特性告知Flink在创建窗口时如何定义时间。 时间特性是StreamExecutionEnvironment的一个属性，它可以接受如下值。 1 ProcessingTime 处理时间 简单来说，处理时间就是Flink算子处理该条数据时，当前的系统时间。 通常，在窗口算子中使用处理时间会导致不确定的结果，因为这取决于数据到达Flink窗口时
flink-watermark（水印）
qq_36532358的博客
06-23 2149
一、什么是flink-watermark（水印） 1.1官方字面介绍 Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。 当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。 也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。 1.2代码层面 public final class Watermark extends StreamElement
flink Watermark编程实例
qq_35514685的博客
03-02 1244
固定时间间隔的watermark生成策略： package com.ss; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.MapFunction; import org.apache
flink sql watermark
最新发布
10-14
Flink SQL 中的 Watermark 是用于处理事件时间的机制，它可以让 Flink 知道数据流中的事件时间，并根据事件时间进行窗口计算。Watermark 是一种特殊的数据记录，它告诉 Flink 某个时间点之前的数据已经全部到达，因此可以触发相应的计算操作。 在 Flink SQL 中，可以通过使用 TUMBLE、HOP 和 SESSION 等窗口函数来进行窗口计算。在使用这些窗口函数时，需要指定窗口的大小和滑动步长，并且需要指定 Watermark 的生成方式。通常情况下，可以通过使用 BoundedOutOfOrdernessTimestampExtractor 来生成 Watermark，该方法会根据数据流中的最大事件时间和指定的延迟时间来生成 Watermark。 例如，下面的 Flink SQL 代码演示了如何使用 TUMBLE 窗口函数和 BoundedOutOfOrdernessTimestampExtractor 来进行窗口计算： ``` SELECT TUMBLE_START(rowtime, INTERVAL '1' HOUR) as w_start, COUNT(*) as cnt FROM my_table GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR) ``` 在上述代码中，rowtime 表示事件时间字段，TUMBLE_START 函数用于获取窗口的起始时间，INTERVAL '1' HOUR 表示窗口大小为 1 小时。BoundedOutOfOrdernessTimestampExtractor 方法会根据数据流中的最大事件时间和指定的延迟时间来生成 Watermark。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值