Watermark水位线实践与源码分析

于 2024-08-10 15:53:51 发布
阅读量64 收藏
点赞数
分类专栏： Flink 文章标签： Watermark 水位线
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/141070815
版权
Flink 专栏收录该内容
28 篇文章 2 订阅 ¥9.90 ¥99.00
订阅专栏

目录

Watermark源码

有序流中Watermark

无序流中Watermark

自定义Watermark

周期性（Periodic）Watermark

间断性（Punctuated）Watermark

处理闲置源

Watermark对齐

        阅读本文前，请先阅读《Flink时间和窗口》，了解时间以及水位线。本文以Watermark使用和源码分析为主。

Watermark源码

        Watermark是数据流中的进度指示器。一个Watermark时间戳为T表示该流的事件时间（Event Time）已经进展到时间T。此时，我们认为在这个Watermark之后，不会再有事件时间比时间戳T还小或等于的事件出现，当然这只是认为，实际情况，在时间戳为T的Watermark之后可能还会有延迟的事件，它们的时间戳小于或等于T，在这种情况下，由算子的逻辑来决定如何处理“后期事件”。例如，算子可以忽略这些后期事件，将它们路由到不同的流，或发送更新到他们先前发出的结果。

        Watermark在source处创建，并通过流和算子传播。

        当一个源到达输入的末尾时，它会发出一个时间戳为Long.MAX_VALUE的时间戳，表

了解本专栏 订阅专栏 解锁全文
ErbaoLiu
关注
专栏目录
订阅专栏
Flink 成长之路专栏 - 导读目录
BITDDD小栈
10-14 1071
Flink 成长之路专栏简介。
【5】flink窗口与水位线watermark例子
PacosonSWJTU的博客
05-09 1538
【README】 本文总结了flink时间语义和水位线的知识； 【1】时间语义 1）时间分类 Event Time： 事件创建的时间（事件发生时间）； Ingestion Time：数据进入flink的实际； Processing Time：执行算子的本地机器时间 ； 我们主要讨论的是 事件时间； 【2】水位线 ...
深入Flink系列——watermark使用与源码详解
PAN_Andy的博客
07-05 605
本节我们主要关注Flink的时间体系，包括Flink的时间语义、watermark机制及watermark的生成与传播原理，主要进行一些flink watermark理论知识的梳理。
[源码分析] 从源码入手看 Flink Watermark 之传播过程
罗西的思考
05-14 718
本文将通过源码分析，带领大家熟悉Flink Watermark 之传播过程，顺便也可以对Flink整体逻辑有一个大致把握。
JavaFlink原理、实战、源码分析（二）原理部分
qq_36250202的博客
04-13 1893
JavaFlink原理、实战源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869 第六章 Flink 中的 Window 主要内容 • window 概念 • window 类型 • window API 6.1 Window 6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割.
大数据最佳实践-kafka
program哲学
04-16 6075
kafka各个重难点大全，超详细
Flink Window分析及Watermark解决乱序数据机制深入剖析-Flink牛刀小试
02-02 691
转发https://blog.csdn.net/shenshouniu/article/details/84455619： 1 The Time 针对stream数据中的时间，可以分为以下三种： Event Time：事件产生的时间，它通常由事件中的时间戳描述。 Ingestion time：事件进入Flink的时间 Processing Time：事件被处理时当前系统的时间 Flink中...
flink1.12.0学习笔记第3篇-高级API
wt334502157的博客
10-11 371
​ 实际开发中我们希望基于事件时间来处理数据，但因为数据可能因为网络延迟等原因，出现了乱序或延迟到达，那么可能处理的结果不是我们想要的甚至出现数据丢失的情况，所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题！Watermaker水印机制/水位线机制可以解决这样的乱序情况。Watermaker就是给数据再额外的加的一个时间列，也就是Watermaker是个时间戳概念Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储State。
Nebula Graph 在众安保险的图实践
weixin_44324814的博客
03-30 8326
本文首发于 Nebula Graph Community 公众号 互联网金融的借贷同传统信贷业务有所区别，相较于传统信贷业务，互联网金融具有响应快、数据规模大、风险高等特点。众安保险主要业务是做信用保证保险，为了服务业务，大数据团队搭建了风控系统用于处理互联网借贷的决策问题。本文主要讲述 Nebula Graph 是如何通过众安保险的选型，以及 Nebula Graph 又是如何落地到具体业务场景帮助众安保险解决风控问题。 业务背景 有别于传统银行的信贷业务十天、半个月的申请审核时长，互联网金融借贷第.
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 634
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1543
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
c#实现俄罗斯方块，面向对象实现
09-15
俄罗斯方块（Tetris）是一款经典的益智游戏，由俄罗斯程序员阿列克谢·帕基特诺夫于1984年开发。游戏的主要目标是通过旋转和移动不同形状的方块（称为“砖块”或“Tetrominoes”），将它们填充到屏幕底部的水平行中。当一行被完全填满时，该行会消失，玩家将获得积分。 游戏特点： 砖块形状：游戏中有七种不同形状的砖块，每种砖块由四个方块组成。 下落机制：砖块从屏幕顶部逐渐下落，玩家需要快速做出决策。 得分系统：消除的行越多，得分越高，连续消除多行会获得额外分数。 难度递增：随着游戏进行，砖块下落的速度会逐渐加快，增加了游戏的挑战性。 文化影响： 俄罗斯方块不仅在游戏界取得了巨大的成功，还成为了流行文化的一部分，影响了许多后续的游戏设计。它的简单性和上瘾性使其成为了历史上最畅销的电子游戏之一。 版本与平台： 自发布以来，俄罗斯方块已经在多个平台上推出，包括家用游戏机、电脑、手机等，形成了众多不同的版本和变种。
5G网络优化案例：关于解决诺基亚5G 700M站点小区闪断问题解决.pdf
09-15
这份文件是关于解决诺基亚5G 700M站点小区闪断问题的详细案例报告，主要内容和关键要点如下： 问题背景与初步分析： 问题描述：随着5G 700M网络建设的推进，诺基亚700M现网出现较多误码告警和小区闪断问题，故障比例明显高于其他厂家站点。 初步定位：通过归类法分析，发现绝大部分误码问题发生在烽火单芯双向光模块小区，占比高达95.65%。 故障根因深入探究： 光模块适配问题：初步认为烽火单纤双向光模块存在问题，但更换后问题依旧，进一步分析为光模块与诺基亚设备的适配问题。 深入测试与定位：选取5个长期误码小区进行深入分析，与烽火厂家合作对光模块进行程序升级，问题得到初步解决。 AUTOBYPASS机制分析： 机制介绍：烽火光模块采用25G模块速率兼容10G，并开启AUTOBYPASS（CPR自动旁路模式）功能。 影响分析：AUTOBYPASS机制与诺基亚设备不适配，导致交互失败和误码产生。关闭AUTOBYPASS后，CDR时钟校验和恢复周期缩短，交互频繁，误码问题消失。 解决方案与实施： 解决方案：针对所有使用此类光模块的诺基亚站点，通过优化升级烽火光模块，关闭AUTOBYPASS功
在线请假管理系统.zip
09-15
这是一个基于Python Flask的Web应用程序，采用Bulma uI框架和Postgresql数据库，用于管理和处理员工的请假事宜。用户可以通过这个系统创建安全的用户账户并登录，员工可以提交请假申请等待上级审批，并查看历史请假记录。经理可以审批或拒绝员工的请假申请，并查看团队的请假记录。此外，管理员还可以查看所有员工信息，添加新员工并分配经理，编辑和删除员工信息。该项目在heroku上托管，提供在线服务。安装步骤包括克隆项目、创建虚拟环境、激活环境并安装依赖项等。还提供了数据库迁移和初始化、运行应用程序以及数据重置等实用工具命令。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.文md件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
performance-timing.js利用HTML5的navigation_timing_API_performance
最新发布
09-15
performance-timing.js利用HTML5的navigation_timing_API_performance-timing
ssm+mysql的小说阅读网站书城（源码+lw+ppt）
09-15
内容概要： 基于SSM框架、Java语言和MySQL数据库的小说网站。系统旨在为用户提供一个在线阅读和搜索小说的平台，支持用户注册、小说列表查看、在线支付和排行榜等功能。系统采用B/S架构，前端使用JS语言进行界面设计，后端通过SSM框架进行开发。 适用人群： 本系统适用于广大网络小说读者、作者和出版社。 使用场景及目标： 1. 读者可以通过系统在线阅读小说，搜索自己喜欢的作品。 2. 作者可以上传自己的作品，与读者互动。 3. 出版社可以通过系统发布和管理小说资源。 其它说明： 系统设计考虑了用户友好性和操作便捷性，通过技术手段确保数据安全性。系统具备良好的扩展性，可适应未来功能升级需求。通过本系统，用户可以方便地获取所需小说资源，同时作者和出版社也能有效地管理自己的作品。 关键词：小说网站；MYSQL数据库；SSM框架；JS技术
8.zabbix构建企业级监控告警平台(1).学习笔记整理分享给需要的同学
09-15
8.zabbix构建企业级监控告警平台(1).学习笔记整理分享给需要的同学
基于OpenAI API的餐厅评论生成器.zip
09-15
该项目是一个使用Flask框架构建的Web应用程序，它利用OpenAI APi生成餐厅评论。项目文件包含了部署到AWS Elastic Beanstalk所需的所有元素。用户可以通过此应用程序生成个性化的餐厅评论，它可能是基于某些餐厅的特征、食物和服务等因素。这是一个基于机器学习和自然语言处理技术的创新项目，适用于需要自动餐厅评论的场景，如推荐系统、网站内容生成等。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ErbaoLiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值