一张图说清楚Flink水印和Lateness

最新推荐文章于 2024-11-06 11:12:27 发布
最新推荐文章于 2024-11-06 11:12:27 发布
阅读量146 收藏
点赞数 2
文章标签： flink 大数据 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33483616/article/details/142636617
版权

真传一句话，假言万卷书。

Flink使用窗口与水印处理乱序问题，使用Latenss处理延迟问题，二者混合使用可以满足很多复杂场景的需求

当Watermark大于窗口结束时间时，会触发窗口内的元素进行计算并缓存起来，随着Watermark增长，在Watermark <窗口结束时间 + Lateness时，仍会继续等待窗口内的元素参与窗口计算，计算时要注意状态值的重复，直到Watermark >窗口结束时间 + Lateness时清空缓存

简单地说就是，当Watermark在红色区域时，窗口内的元素会计算

码以致用
关注
大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）
Lansonli（蓝深李）的博客
09-14 2142
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。但是由于网络、分布式等原因，会导致数据乱序的情况。通过watermark来解决，简单来说就是延迟窗口关闭的时间，等一会迟到的数据，窗口关闭不在依据数据的时间，而是到达的watermark的时间。
Flink事件时间和水印详解
长臂人猿的博客
08-04 5388
前言 Flink使用版本：1.12.1。   水印是一个标记的时间戳，是一个标记：意味着水印代表时间前的数据均已到达（人为的设定——开发人员可以控制延迟和完整性之间的权衡），这一点水印保障了乱序问题的解决（这很重要，特别是多分区kafka消费）。因为在流处理中，面对乱序问题，你不可能一直等待数据的到达而不去对数据进行操作（尤其像是聚合操作这类操作）。故此面对超时到达的数据你必须进行处理，如何判断超时数据——水印，你也可以设置一定的延迟时间。这两点（解决乱序；允许延迟）也是水印的主要功能。第二点通常与窗口一起
10分钟了解Flink Watermark水印
程序员半支烟，wechat：yclxiao
04-26 1217
本文主要讲了Flink Watermark水印的概念和使用。
Flink的水印机制
qq_40233706的博客
12-26 2523
一.Flink流处理时间方式 ： EventTime[事件时间] 事件发生的时间，例如：点击网站上的某个链接的时间 IngestionTime[摄入时间] 某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据 ProcessingTime[处理时间] 某个Flink节点执行某个operation的时间，例如：timeWindow接...
Flink水印的更新机制和窗口触发计算和允许延迟的关系
Wai0210的博客
04-03 2689
Flink 水印 水位线
flink水印没有触发窗口结束计算问题详解
huni的博客
11-20 2725
先说下水印的基本概念，对后面理解有帮助 1.watermark特点 1.watermark并不是event的一个属性， 而是一条特殊的数据记录（只用来触发窗口结束，不参与数据计算） 2.watermark 必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退（就算延迟数据到来了，比目前的水印小，他也不会倒退了，而是直接不赋值，return掉） 在org.apache.flink.streaming.runtime.operators.TimestampsAndWatermarksOperator.
一文搞懂 Flink 处理水印全过程
shengjk1的博客
12-25 1675
1. 正文 2. 总结 1.正文 前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例 FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>(topics, new SimpleStringSchema(), properties); consumer.setStartFromL.
Apache Flink 水印的工作机制详解与源码阅读
天道酬勤
12-10 1505
本文主要介绍了 Flink 水印的产生背景，工作原理，api以及部分源码阅读，阅读文本可以更加深刻的了解水印的工作方式。
flink-watermark（水印）
qq_36532358的博客
06-23 2451
一、什么是flink-watermark（水印） 1.1官方字面介绍 Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。 当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。 也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。 1.2代码层面 public final class Watermark extends StreamElement
flink教程-聊聊 flink 1.11 中新的水印策略
公众号[大数据技术与应用实战]，分享大数据实战案例
07-17 2335
在flink 1.11之前的，提供了两种生成水印（Watermark）的策略，用户想使用不同的水印生成方式，则需要实现不同的接口，但是这样引发了一个问题，对于想给水印添加一些通用的、公共的功能则变得复杂，因为我们需要给这两个接口都同时添加新的功能，这样还造成了代码的重复。 所以为了避免代码的重复，在flink 1.11 中对flink的水印生成接口进行了重构，提供了统一的生成接口WatermarkGenerator ，并支持空闲数据源的处理，在配置的时间内（即超时时间内）没有记录到达时将一个流标记为空闲
Flink生成时间戳/水印
踏雪无痕
06-12 2976
一.概述 生成时间戳/水印与在事件时间有关。有关事件时间， 处理时间和摄取时间，参考：事件时间概述 为了处理事件时间，流式传输程序需要相应地设置时间特征。 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 二.分配时间戳 为了使用事件时间，Flink需要知道事件的时间戳，这意味着流中的每个元素都需要分配其事件时间
flink Watermark 水印原理
aixuebo1的博客
03-28 2670
flink Watermark 源码分析
flink实战--水印（watermark）终极总结
阿华田的博客
12-24 7600
水印（waterMark） 了解水印前需要了解事件时间（eventTime）和处理时间（processTime）的概念，参考博客：https://blog.csdn.net/aA518189/article/details/82908993了解事件时间。 Flink通过水印来推进事件时间。水印是嵌入在流中的常规记录。计算程...
阿里云实时数据仓库Hologres&Flink
cxzhq2002的杂记
11-04 1072
ODS层的数据同步需要将数据从业务表格监控数据的实时变化，将变化数据写入到DataHub中，同步业务表格RDS（MySQL）的变更数据有多种方法，较为简单的方法，可以直接使用阿里云的DataWorks数据同步功能，此处选择更加泛用的flinkCDC方法来实现。支持数据湖场景，支持JSON等半结构化数据，OSS、DLF简易入仓。专注实时场景：数据实时写入、实时更新，写入即可见，与Flink原生集成，支持高吞吐、低延时、有模型的实时数仓开发，满足业务洞察实时性需求。而业务流程数据需要记录下每一次数据的变化。
flink 内存配置（一）：设置Flink进程内存
chanyue123的博客
11-04 947
Apache Flink通过严格控制各个组件的内存使用，在JVM之上提供了高效的工作负载。虽然Flink社区努力为所有配置提供合理的默认值，但由于用户部署在Flink上的应用范围很广，这并不总是可行的。为了给用户提供最大的生产价值，Flink支持对集群内的内存分配进行高层和细粒度的调优。下面进一步描述的内存配置适用于1.10版本之后的TaskManager进程和1.11版本之后的JobManager进程。
【零基础小白】 window环境下安装RabbitMQ
最新发布
许苑向上
11-06 298
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 561
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
牛客网项目总结
qq_43539664的博客
11-04 289
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
Kafka-linux环境部署
xiaoyuanbama的博客
11-05 233
Kafka在Linux环境下的安装，以及一点点的kafka实战运维优化经验。
Flink水印机制解析：事件时间和处理时间
水印机制是Flink中处理事件时间流的关键组成部分，它使得系统能够有效地应对数据流中的延迟，保持处理的一致性和准确性，同时保持高效率的实时计算。理解和正确使用水印对于构建可靠的大数据实时分析应用至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值