Flink 使用 EventTime、WaterMarks 处理实时数据

最新推荐文章于 2024-03-21 20:51:02 发布
最新推荐文章于 2024-03-21 20:51:02 发布
阅读量2k 收藏 3
点赞数 2
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104278689
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏
本文详细介绍了如何使用Flink的EventTime和WaterMarks处理实时数据，分别从非并行和并行Source的角度进行分析。通过示例代码和测试结果，解释了非并行Source在窗口触发时的逻辑，并通过KafkaSource展示了并行数据流的影响。
摘要由CSDN通过智能技术生成

本文开头附：Flink 学习路线系列 ^ _ ^

       结合上一篇博文： Flink 中 Time 和 Window 介绍，我们了解到 Flink 的流式处理中，会涉及到 3 个时间概念。分别是：Event Time、Ingestion Time、Processing Time。

       如果你还对这三个时间概念不了解，建议你跳转上一篇博文了解一下。通过上文，我们也已经知道了EventTime对于业务来说是最有意义的时间。接下来我们就分析一下 EventTime 在并行Source 和非并行Source中的使用情况。

如下是一段 log 日志，我们根据该日志格式，来分析客户的下单量情况。

日志格式：<
了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
专栏目录
订阅专栏
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
SmartSi
10-27 5644
Flink在数据流中支持几种不同概念的时间。1. 处理时间 Processing TimeProcessing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。当一个流程序以处理时间来运行时，
【Flink 实战系列】No Watermark (Watermarks are only available if EventTime is used)
JasonLee实时计算
10-02 2590
本文主要是从一个简单的 DEMO 出发，通过分析底层的源码，让大家了解了为什么 Watermark 没有正常更新，这个在生产环境还是比较常见的，只要是窗口不触发计算的问题，基本上都是因为 Watermark 没有正常推进，如果遇到这种问题，直接就去找为什么 Watermark 没有推进，如果是上面的情况，可以选择上面三种方案中的任意一种解决，当然还是推荐第一种，第二种和第三种都会打破 operator Chain 会带来性能损耗。
聊聊flink的EventTime
weixin_33985679的博客
12-19 217
序 本文主要研究一下flink的EventTime SourceFunction flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java /** * Interface that source functions use t...
flink使用Event_time处理实时数据
congtuo7221的博客
02-28 1142
//flink中关于时间的三个概念 //eventtime:数据产生的时间 //processingtime:处理数据的时间即操作数据的之间比如一个flink在scala中的map函数处理数据时 //inges...
Flink 中的EventTime详细概念 及示例代码
cxu123321的博客
04-30 893
Flink 中的EventTime详细概念 及示例代码 gym02 Flink时间窗口的计算中，支持多种时间的概念：Processsing，IngestionTime，EventTime。 如果在Flink中用户不做任何设置，默认使用的是ProcesssingTime，其中ProcesssingTime，IngestionTime都是由计算节点产生。不同的是IngestionTime是Data...
Flink 之 EventTime 划分时间窗口（滚动窗口）
weixin_52346735的博客
03-07 685
窗口触发的条件 ： 水位线 >= 窗口结束的时间 一 不分组，按照EventTime划分滚动窗口 Non-keyed Window，底层调用的是windowAll public class EventTimeTumblingWindowAllDemo { public static void main(String[] args) throws Exception { // 2021-03-06 21:00:00,1 // 2021-03-06 2
Flink-EventTime数据测试 | watermark、allowedLateness、sideOutputLateData 三重保证数据不丢失
SmallScorpion
05-28 964
程序代码 import com.atguigu.bean.SensorReading import com.atguigu.window.MyReduceFunc import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.
Flink的Time故事 :EventTime/IngestTime/ProcessingTime
qq_34009542的博客
12-10 596
1. Time三兄弟 1.1 DataStream支持的三种time DataStream有大量基于time的operator，windows操作只是其中一种。 Flink支持三种time: 1.EventTime 2.IngestTime 3.ProcessingTime 1.2三个时间的比较 EventTime 1.事件生成时的时间，在进入Flink之前就已经存在，可以从event的字段中抽取。 2.必须指定watermarks（水位线）的生成方式。 3.优势：确定性.
EventTime和Watermarks案例分析.pdf
07-29
根据给定文件的内容，我们可以提取以下知识点： ...这些知识点对于理解和处理流式数据乱序问题至关重要，特别是在进行实时数据分析和处理时。通过这些机制，开发者可以更加准确地控制数据流的处理时机和结果。
Flink EventTime Window
weixin_45607513的博客
03-13 310
EventTime Window Flink流计算传输中支持多种时间概念：ProcessingTime/EventTime/IngestionTime。 处理时间(Processing Time)：处理时间是指执行相应操作的机器的系统时间。 当流程序在处理时间上运行时，所有基于时间的操作(如时间窗口)将使用运行各自操作符的机器的系统时间。 处理时间是最简单的时间概念，不需要流和机器之间的协调。...
大数据专家教你学Flink：用EventTime与WaterMark进行流数据处理
最新发布
2401_83384536的博客
03-21 1081
最简单的情况下，这也最容易理解：所有进入到Flink处理系统的流数据，都是在外部的其它系统中产生的，它们产生后具有了事件时间，经过传输后，进入到Flink处理系统，理论上（如果所有系统都具有相同系统时钟）该事件时间对应的时间戳要早于进入到Flink处理系统中进行处理的时间戳，但实际应用中会出现数据记录乱序、延迟到达等问题，这也是非常普遍的。WaterMark带有一个时间戳，假设为X，进入到数据处理系统中的数据元素具有事件时间，记为Y，如果Y
Flink入门(十二)自定义eventTime
baifanwudi的专栏
05-27 2985
kafka消息是自带timestamp的，但有的时候需要自定义eventTime，直接上代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(); env.setParallelism(2); //这里我采用eventTi...
Flink | EventTime 和Watermark
风中云彩的博客
08-10 457
​ 通常情况下，由于网络原因或系统等外部因素，事件数据往往不能及时传输到Flink系统中，导致数据乱序到达或延迟到达，因此需要一种机制能够控制数据处理的过程和进度。水平线（watermarks）机制，它能够衡量数据处理进度，保证事件数据到达Flink系统，或者在乱序和延迟时，也能够像预期一样计算出正确并且连续的结果。Flink会将用读取进去系统的最新事件时间减去固定的时间间隔作为w...
Flink示例——Window、EventTime、WaterMark
蒋含竹的博客
02-10 766
文章目录Flink示例——Window、EventTime、WaterMark版本信息自定义SourceFunctionWindow 示例EventTime、WaterMark Flink示例——Window、EventTime、WaterMark 版本信息 产品 版本 Flink 1.7.2 Java 1.8.0_231 Scala 2.11.12 自定义Source...
通过EventTime演示Kafka与Flink集成代码
weixin_39098944的博客
10-14 470
前言 本例模拟中将集成Kafka与Flink：Flink实时从Kafka中获取消息，每隔10秒去统计机器当前可用的内存数并将结果写入到本地文件中。 环境准备 Apache Kafka 0.11.0.0 Apache Flink 1.3.1 Gradle 3.5 （版本号不是强要求） 本例运行在Windows环境，但可以很容易地移植到其他平台上。 创建Flink Streaming工程 本例使用Intellij IDEA作为项目开发的IDE。首先创建Gradle project，group为’huxihx.f
flink event-time 和连续窗口的使用
寒夜
05-05 2347
文章目录1. flink 三种time简介1.1 Processing Time:1.2 Event time:1.3 Ingestion time:2. flink中使用event-time2.1 在stream-source中直接放入event-time2.2 使用Timestamp Assigners / Watermark Generators2.2.1 AssignerWithPerio...
Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例
Aspirin's Nest
11-25 2831
前言 flink1.11中有了新版的指定watermark和watermarkstrategy API。这里先就其中一种情况（代码中指定事件时间语义、使用周期性水印，从数据中抽取事件时间字段）写了一个简单的demo，作为入门，详细的关于新版事件时间和watermark的说明有时间再补充。 下面代码的数据来自metricbeat，本机启动metricbeat将数据接入kafka，flink消费kafka中的数据，于是有了下面程序。 metricbeat中的数据为json格式，有一个时间字段名为@time
关于EventTime所带来的问题
张普的专栏
07-17 824
在Flink中，EventTime即事件时间，能够反映事件在某个时间点发生的真实情况，即使在任务重跑情况也能够被还原，计算某一段时间内的数据，那么只需要将EventTime范围的数据聚合...
Flink 系例之 SQL 案例 - 订单统计
不会飞的小龙人的博客
03-22 2583
示例，对电商实时订单进行聚合计算，分以下两个维度进行：1. 统计每 1 分钟的订单数量、用户数量、销售额、商品数；2. 统计每个分类的订单总数量、用户总数量（未去重）、销售额、商品数
EventTime与Watermarks在数据乱序处理中的应用解析
在流处理系统中，处理实时数据时，数据乱序是一个常见的挑战。Apache Flink作为强大的流处理框架，提供了EventTime和Watermarks的概念来有效地处理这种问题。EventTime是基于事件发生的实际时间，而Watermarks则是一...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值