Flink系列：事件Time时间乱序到达处理方法

最新推荐文章于 2023-11-06 21:29:25 发布
最新推荐文章于 2023-11-06 21:29:25 发布
阅读量6.6k 收藏 1
点赞数
分类专栏： # 【Flink零基础学习】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/VIP099/article/details/107048139
版权
Flink处理Kafka数据到达时间无序问题，通过引入Watermark解决乱序。介绍顺序到达、乱序到达和并发到达三种情况，并详细讲解Watermark的工作原理。推荐基于时间周期生成Watermark，当watermark时间大于等于Event Time时触发窗口计算。举例说明了Watermark如何确定窗口关闭时机，以及如何避免数据丢失。文章还提及了事件时间分类和完整Demo示例。
摘要由CSDN通过智能技术生成

 

到达时间无序

kafka的数据，不一定按照时间产生的时间到达flink，为了解决这个问题，需要引入Watermark

 

时间到达的3种情况

顺序到达

乱序到达

 

并发到达

 

Watermark

如果指定多个Watermark，后面的将覆盖前面的。

两种方法

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIO4444
关注
专栏目录
订阅专栏
Flink时间和窗口
L
07-24 1233
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
Flink 实践教程-进阶（5）：排序（乱序调整）
cloudbigdata的博客
12-29 2390
配合使用 Windowing TVF 调整乱序数据
Flink教程（二）——事件时间
rocketluoqq的博客
12-05 533
开发十年，就只剩下这套架构体系了！ >>> ...
Flink如何处理乱序数据？
justlpf的专栏
02-22 3860
参考文章：Flink如何处理乱序数据？ 本章主要针对Flink Time中的Event Time、Ingestion Time、Processing Time以及Watermark进行详细讲解。 1 Time Stream数据中的Time（时间）分为以下3种。 Event Time：事件产生的时间，它通常由事件中的时间戳描述。 Ingestion Time：事件进入Flink的时间。 Processing Time：事件被处理时当前系统的时间。 这几种时间的对应关系如图1所示。 图1　
Flink中处理乱序数据的三种方式
weixin_42796403的博客
03-06 2396
Flink中处理乱序数据的三种方式 加水印 Flink中的时间语意WaterMark，以事件时间减去所允许的最大乱序时间作为水印，原理相当于多给了数据一定的时间，然后关闭窗口，触发计算。 允许迟到allowedLateness 原理是在水印的基础上在多给数据一定的可以迟到的时间，当水印到达窗口大小时触发计算，但是不关闭窗口，到达所允许的迟到时间后真正关闭窗口。 侧输出流 当数据迟到的时间非常久，前两种都失效时使用，相当于迟到数据归放入一个分支流中进行单独计算。 此外，侧输出流还可以对数据进行分流
flink 事件时间
大齐的学习笔记
04-23 1179
当流媒体程序在处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行相应操作员的机器的系统时钟。例如，每小时处理时间窗口将包括在系统时钟显示整整一小时的时间和到达特定操作员的所有记录。处理时间是最简单的时间概念，不需要流和机器之间的协调。它提供了最佳的性能和最低的延迟。然而，在分布式和异步环境中，处理时间并不能提供确定性，因为它容易受到记录到达系统的速度（例如来自消息队列）的影响，以及记录在系...
详细讲清楚Flink中使用EventTime+Watermark解决乱序问题
weixin_43857576的博客
12-24 2084
一般来说，以事件时间为时间语义，如果一个时间流不按事件时间递增的顺序到达Flink作业中，则称此流数据为乱序（out-of-order)数据流。下面给出一个乱序数据流的示意图 现假设所有传感器的时间是同步的，那么传感器中监测到的事件数据，理论上的顺序为1、2、3、3、5、6、7、9.但经过网络传输后到达Flink作业时的顺序为2、3、1、7、3、5、9、6，不少事件时间次序颠倒，形成乱序。其中有两个时间戳为3的事件数据，有是不同可能Key的时间戳，也可能是传感器重发了两次3.因此，在真正的分布式环境中，要
Flink系列：事件时间乱序到达处理完整Demo例子
NIO4444
07-05 1769
目录 效果 在192.168.40.159客户端输入 idea程序输出 基础 程序 StreamingWindowWatermark XdoctorxMapFunction XdoctorXAssignerWithPeriodicWatermarks XdoctorXWindowFunction 效果 在192.168.40.159客户端输入 idea程序输出 基础 Flink系列：WindowFunction使用方法 Flink系列：自定义Wi...
Flink系列：事件Time时间分类（指定事件时间）
NIO4444
06-30 2523
时间分类 Stream数据中的Time（时间〉有下面3种： • Event Time 事件产生的时间 • Ingestion Time 事件进入Flink的时间 • Processing Time 事件被处理时当前系统的时间 流转图 指定Stream数据中的Time /默认是处理时间为基础，可以修改： env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)...
Flink 水位线机制WaterMark实践 处理乱序消息
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-20 1996
1 水位线（WaterMark）是一个时间戳，等于当前到达的消息最大时间戳减去配置的延迟时间，水位线是单调递增的，如果有晚到达的早消息也不会更新水位线，因为消息最大时间戳没变 2 新消息到达时，才计算新的水位线，如果水位线大于等于窗口的endTime（左闭右开）则触发窗口计算，反之继续接收后续消息；消息的EventTime大于等于窗口beginTime则保留，反之被丢弃 3消息的EventTime小于水位线时不一定被丢弃；消息的EventTime小于窗口beginTime时才会被丢弃 4 与wind.
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
SmartSi
10-27 5634
Flink在数据流中支持几种不同概念的时间。1. 处理时间 Processing TimeProcessing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。当一个流程序以处理时间来运行时，
Flink之数据乱序处理
datacreating的博客
03-14 2647
理想情况下，数据都是严格有序的，但现实中的数据往往都存在乱序的情况。
Flink 事件时间与处理时间
qq：489366879
04-19 2908
Flink 在数据流中支持几种不同概念的时间。 1. 处理时间 Processing Time(处理时间)是指执行相应操作的机器系统时间，是操作算子在计算过程中获取到的所在主机的系统时间。当用户选择使用处理时间时，所有和时间相关的算子，例如 Windows 计算，在当前任务中所有的算子直接使用所在主机的系统时间。例如，一个基于处理时间按每小时进行处理的时间窗口将处理一个小时内（以系统时间为标准）到达指定算子的所有的记录。 处理时间是最简单的一个时间概念，不需要在数据流和机器之间进行协调。具有...
flink--事件时间的重要
qq_45981158的博客
11-03 305
时间 在流式数据处理理论中，经常使用事件或记录表示从所处理的数据集中拉取的数据，在 Flink中通常以有结构的对象表示事件。 在无界数据处理中，主要有两类事件概念。 (1)事件时间( Event Time):事件实际发生的时间。 (2)处理时间( Processing Time):事件被处理的时间。 并不是所有应用场景都关注事件时间，但其重要性是不言而喻的。例如，在用户行为特征分析、异常检测、基于信贷历史的风控型等分析中，事件时间起 到了决定性的作用。 用户行为特征分析 用户浏览网页或App时会产生一系
Flink -- 事件时间 & Watermark
最新发布
加油
11-06 566
上图表示的是以Flink的流程图，图中总共有两个并行度，每一个Task上面都带着任务的时间，在Flink中，会将任务的时间向后传递，当途中上游map（1）将任务时间传递给下游window（1）时，下面的上游map（2）也会任务时间传递给下游window（1）（上游的任务是并行的），此时下游window（1）就会产生两个任务时间，此时就会选择时间最小的时间的作为水位线。在使用事件时间的时候需要注意的是打入数据的数据时间是需要按照时间的顺序打入，否则数据就会丢失（也可以不按照顺序打入，后面有解决办法）
flink中的事件时间和水印
dragon_blog的博客
01-01 867
Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，插入到消息流中，输出到Flink流处理系统中，Flink算子按照时间窗口缓存所有流入的消息。比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。+ "|水位线时间戳: "+ wm + ","+ format.format(wm.getTimestamp()));
Flink事件时间和水印详解
长臂人猿的博客
08-04 5318
前言 Flink使用版本：1.12.1。   水印是一个标记的时间戳，是一个标记：意味着水印代表时间前的数据均已到达（人为的设定——开发人员可以控制延迟和完整性之间的权衡），这一点水印保障了乱序问题的解决（这很重要，特别是多分区kafka消费）。因为在流处理中，面对乱序问题，你不可能一直等待数据的到达而不去对数据进行操作（尤其像是聚合操作这类操作）。故此面对超时到达的数据你必须进行处理，如何判断超时数据——水印，你也可以设置一定的延迟时间。这两点（解决乱序；允许延迟）也是水印的主要功能。第二点通常与窗口一起
Flink水印机制解析：事件时间和处理时间
- 事件时间（Event Time）：事件时间是根据事件实际发生的时间来定义的，不受数据到达时间或处理延迟的影响。 3. 事件时间和水印 - 在存在乱序事件的情况下，事件时间的概念尤为重要。水印是一种机制，用于处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值