Flink学习笔记 --- WaterMark机制 and low WaterMark 保序机制

最新推荐文章于 2024-01-27 20:44:11 发布
最新推荐文章于 2024-01-27 20:44:11 发布
阅读量4.1k 收藏 2
点赞数
分类专栏： 大数据挖掘与大数据应用案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012965373/article/details/73505945
版权

首先是张 Flink技术栈的图：





然后然后解释一下如何在高性能的情况下对数据进行保序操作处理：

如下图所示：



当数据从kafka进入Flink中，数据有序，再经过map处理后，根据本地的时间生成

Window，然后启动WaterMark机制，其中的时间叫做Ingestion Time，

了解本专栏 订阅专栏 解锁全文
杨鑫newlfe
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 安装 Maven中央 < dependency> < groupId>ru.ivi.opensource</ groupId> < artifactId>flink-clickhouse-sink</ artifactId> < version>1.3.1</ version> </ dependency> 用法 特性 flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
流式计算-low watermark机制
Move_now的博客
06-24 4449
前言 最近在学习流式计算相关的知识，在阅读了MillWheel论文以及DStream相关实现后，在这里对low watermark机制做一个总结与介绍。 Window 实时数据流是永不停歇的，我们无法获取所有的数据并产出一个最终的结果。很多情况下我们更关心的是最近的状态，而不是从实时数据流启动至今的统计数据。因此需要将数据流切分为一个个片段，这些片段形象的称为Window。总而言之，Wi...
【大数据】详解 Flink 中的 WaterMark
书山有路，学海无涯。记录成长，追逐梦想
01-27 1539
Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制，本质上也是一种时间戳。Watermark 是用于处理乱序事件或延迟数据的，这通常用 Watermark 机制结合 Window 来实现（Watermarks 用来触发 Window 窗口计算）。
linux内存回收流程
qq_40079927的博客
02-27 785
简单介绍5.0的内存回收流程
LMKD浅析（三）——Android Q新特性(MTK篇)
热门推荐
Ryan ZHENG的专栏
05-22 1万+
Android Q引入新模式——PSI (Pressure Stall Information)，根据注册对PSI信息的监听，并通过判断watermark，memfree，swapfree，thrashing等信息，更全面地判断当前系统压力，并进行针对性杀进程。 此模式需要依赖： 1、内核配置CONFIG_PSI=y； 2、属性ro.lmk.use_psi须不为false； 3、属性...
Optimizing Linux Memory Management for Low-latency / High-throughput Databases
CPP_CHEN的专栏
07-07 1233
Table of Contents IntroductionSetting up the contextReproducing and understanding Linux's zone reclaim behaviorNUMA memory rebalancing also triggers direct page scansLessons learned Intr
介绍一下flink的Watermark
Er_fengV的博客
09-03 452
前面这篇文章中有提到过watermark，相信很多小伙伴对这个东西还是不太熟，我们可以去官网上看看详情 Watermark 策略简介 为了使用事件时间语义，Flink应用程序都需要知道事件时间戳对应的字段，意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用TimestampAssigner API从元素中的某个字段去访问/提取时间戳 时间戳的分配与watermark的生成是齐头并进的，其可以告诉Flink应用程序事件时间的进度。可以通过指定WatermarkGenerator来配置wat
[内核内存] [arm64] zone区域的水线值(watermark)和保留内存值(lowmem_reserve)详解
菁的博客
04-21 3525
文章目录1 watermark简介2 watermark相关结构体3 watermark初始化3.1 managed_pages，spanned_pages，present_pages三个值对应的意义3.2 什么是min_free_kbytes3.3 Watermark的low,min和high这3档位初始化3.3.1 内存水线初始化过程分析3.3.2 内存水线初始化内核代码分析init_per_zone_wmark_min函数nr_free_buffer_pages函数setup_per_zone_wma
Android ANR & SWT
qq_27672101的博客
06-17 3227
ANR(Application Not Responding，即应用程序无响应)。在Android中，当应用程序在规定时间内没有处理完毕相应的事件,系统就会报出ANR。
Flink-水位
迷路剑客个人博客
08-22 1851
Flink-水位 摘要 本文主要讲解Flink的水位相关基础理论知识，并会辅以源码讲解。 可参考： Event Time and Watermarks 1 水位产生背景 前面Time和窗口章节提到过Processing Time和Event Time两种时间度量方式，后者可以尽可能让Event划分窗口准确。比如 可以看到由于网络延迟，造成C到流式引擎的时间稍有延迟，那么分别按两种Time进行处理的情况如下： 可以看到，如果基于Processing Time则Event C会被错误划分到第二个窗口，而
Flink的处理背压​原理及问题-面试必备
u011250186的博客
04-05 843
Flink的处理背压​原理及问题-面试必备
flink-1.14.0-bin-scala_2.11.tgz
07-18
flink-1.14.0-bin-scala_2.11.tgz
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
大学生创新创业训练计划经验分享.zip
04-25
大学生创新创业训练计划（以下简称为“大创计划”）是一项旨在提升大学生创新能力和创业精神的实践活动。通过这项计划，学生可以在导师的指导下，自主开展研究性学习和创业实践。下面我将分享一些关于大创计划的经验和建议。
node-v12.22.3-x86.msi
最新发布
04-25
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
毕业设计-The coding solutions of Leetcode and 剑指Offer using .zip
04-25
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份，质量非常高，如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、文件或源码，可以用于毕业设计、课程设计的应用、参考和学习需求，请放心下载。 祝愿你在这个毕业设计项目中取得巨大进步，顺利毕业！ 但还需强调一下，这些项目源码仅供学习和研究之用。在使用这些资源时，请务必遵守学术诚信原则和相关法律法规，不得将其用于任何商业目的或侵犯他人权益的行为。对于任何因使用本资源而导致的问题，包括但不限于数据丢失、系统崩溃或安全漏洞，风险自担哦！
【微信小程序毕业设计】宠物店商城系统开发项目(源码+演示视频+说明).rar
04-25
【微信小程序毕业设计】宠物店商城系统开发项目(源码+演示视频+说明).rar 【项目技术】 微信小程序开发工具+java后端+mysql 【演示视频-编号：282】 https://pan.quark.cn/s/cb634e7c02b5 【实现功能】 本系统实现的是和宠物相关的信息管理和发布，加入了商品销售的功能。操作角色为管理员和用户、商家，管理员的功能为用户管理、商家管理、宠物分类管理、宠物信息管理、商品分类管理、宠物用品管理、项目类型管理、服务项目管理、宠物日志管理、订单管理等；用户的功能为购买宠物、商品、预约服务发表日志管理订单等。商家功能为提供宠物、宠物用品、宠物服务，管理订单和服务预约等。
- flink的watermark推进机制
07-14
Flink的Watermark推进机制是用于处理流式数据中的事件时间窗口操作的关键概念之一。Watermark是一种特殊的事件，它用于表示在某个时间点之前的所有事件都已经到达系统。 在Flink中，Watermark由数据源或转换操作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值