Flink中的Wartermark

最新推荐文章于 2023-04-12 21:59:25 发布
最新推荐文章于 2023-04-12 21:59:25 发布
阅读量816 收藏
点赞数
分类专栏： Flink 文章标签： flink 大数据 big data Wartermark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/122379215
版权
Apache Flink的Watermark机制用于处理乱序事件，它是一种时间戳策略，常与窗口操作配合。本文讨论了Watermark的两种生成方式，多流中空闲流的处理，以及两个关键问题：超出延迟范围的数据处理和Watermark的容错。Flink通过AllowedLateness和OutputTag来管理迟到数据，并探讨了在程序重启后Watermark的恢复策略。
摘要由CSDN通过智能技术生成

目录

1. Wartermark是什么

2. 两个常见的问题

3. 参考资料

1. Wartermark是什么

Watermark 是 Apache Flink 提出的一种用来解决乱序、延迟数据等情况的解决
方案，通常和窗口结合使用。本质上来说 Watermark 就是 单调递增的时间戳，来控制等待延迟数据的最大时长。

由周期性生成和标记生成两种方法。

单流wartermark

多流wartermark：多流会出现空闲流的问题。空闲流的问题，用户可以设置一个超时时间，当某个流超过指定时间，没有新数据的话，flink就会放弃原来的全局wm，重新生成一个新的wm。

2. 两个常见的问题

下面的两个问题值得思考：
1.对于超出延迟范围的内的数据如何处理？(默认情况下是直接丢弃掉)

参考这里

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
【Flink】时间语义和水位线的概念和使用
weixin_43923463的博客
11-28 840
当Flink接收到数据时，会按照一定的规则去生成Watermark，这条Watermark就等于当前所有到达数据中的maxEventTime - 最大延迟时长 -1ms，也就是说，Watermark是基于数据携带的时间戳生成的，一旦Watermark比当前未触发的窗口的停止时间要晚，那么就会触发相应窗口的执行。的-4001ms的水位线，其不能够跳过这个算子向前传送。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。
flink中文教程.zip
03-02
Flink中文教程主要涵盖了分布式流处理框架Apache Flink的核心概念、使用方法以及实践案例，旨在帮助初学者和开发者深入理解并熟练运用Flink。以下是对这些主题的详细阐述： 1. **概念**： - **流处理**：Flink是一...
Flink Watermark机制
chanyue123的博客
06-23 1747
flink watermark详解
flink----12 wartermark 案例，接上一节
m0_37139189的博客
06-20 630
上一节的案例我们得到了触发window的条件 watermark+window 处理乱序数据 我们上面的测试，数据都是按照时间顺序递增的，现在，我们输入一些乱序的(late)数据， 看看 watermark 结合 window 机制，是如何处理乱序的。 nc -l 9000 0001,1538359882000 0001，1538359886000 0001，153835989200...
Flink WaterMark 详解
freeRoad
02-23 1354
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
Flink的 warterMark 理解
xz370057448的博客
04-24 949
Watermark基本概念 我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。 那么此...
flink 中文教程.rar
03-25
Flink开发使用的说明文档，十分好用！
Flink 中文文档资料.zip
最新发布
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
Flink 1.7-SNAPSHOT 中文文档
02-24
Flink 1.7-SNAPSHOT 中文文档
Flink1.11中文文档
01-11
6. 部署 Flink：Flink 可以部署在多种环境中，包括 Linux、Windows 和 macOS 等，用户可以根据需要选择合适的部署方式。 7. 升级 Flink：Flink 的升级过程相对简单，用户可以根据需要升级到最新版本。 8. 基于 ...
[白话解析] Flink的Watermark机制
王卫东 博客
04-12 616
对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。
Flink基础04-Flink中的时间语义和watermark
渐宽阁读书小弟
03-06 503
目录： Flink中的时间语义 设置Event Time 水位线(Watermark) watermark的传递、引入和设定 Flink中的时间语义 Event Time : 事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器有关 Event Time 可以从日志数据的时间戳(timestamp)中提取 设置...
Flink Event-Time with WarterMark
weixin_44651989的博客
08-11 180
Flink Event-Time with WarterMark本篇帖子简介1.8.21.10.0PeriodicPunctuated 本篇帖子简介 举一个小例子，比如用Flink做kafka的wordcount，使用的时间类型为Event-Time时间类型，那么我们如何指定数据流的时间进度是依赖于每条数据中的哪个部分的呢。 目前我知道的有三种，会用的只有两种，分别来自于下面两个版本。1.12的版本中对于时间时间的指定貌似更为方便，使用的是DDL。 本贴着重介绍1.10.0部分 1.8.2 一种是像下面这一
6、Flink的时间语义和Wartermark
yunweijie_cn的博客
03-11 2596
Flink的时间语义和Wartermark一、Flink中的时间语义1.三种时间语义1.1 Event Time1.2Ingestion Time1.3Processing Time1.4总结2.EventTime 的引入二、Watermark1.产生原因2.Watermark的理解2.1有序流的Watermarker2.2乱序流的Watermarker2.3总结3.Watermark的传递4.Watermark的引入4.1 乱序数据Watermark的引入4.2 有序数据Watermark的引入5.详解A
Flink的Watermark机制
07-23 361
原博客地址：https://www.cnblogs.com/rossiXYZ/p/12286407.html 摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 01问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答
flink1.10.1--java 版--尚硅谷-第六章 Flink Window+wartermark+状态+容错
紫蝶侠的博客
05-12 251
第六章 Flink 中的 Window 6.1 Window 6.1.1 Window 概述 桶的概念，不是批处理 6.1.2 Window 类型 时间窗口的设置是左闭右开[ ），及包含开时间进入窗口的数据不包含结束时间进入窗口的数据 1. 滚动窗口（Tumbling Windows） 2. 滑动窗口（Sliding Windows） 3. 会话窗口（Session Windows） 6.2 Window API 6.2.1 TimeWindow DataStream&l
Flink时间语义与Watermark
qq_36250202的博客
10-22 270
一、Flink时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据 中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的...
Flink之时间语义与Wartermark实例详解
mo
01-04 446
目录1:时间语义的引出1.1时间语义的定义1.2三种时间语义的优缺点:1.3关于EventTime的引入:2:Wartermark2.1非理想情况下所引出的Wartermark：2.2Wartermark概述：2.3Wartermark的特点2.4图解Wartermark 1:时间语义的引出 在说时间语义时我们引出一个小案例,在平时日常生活中，我们在上下班做地铁的途中为了消磨时间难免会玩会游戏，假设某个游戏设定在一分钟之内可以通过几关就奖励几关的积分,张三在游戏开始的前45秒已经通了3关,然而在45秒以后地
Flink时间语义与 Wartermark
weixin_48149210的博客
09-23 118
EventTime： 是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。例如：点击网站上的某个链接的时间 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) IngestionTime： 某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据 env.setStreamTimeCha
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值