通俗易懂Flink的Event Time

最新推荐文章于 2024-07-11 10:51:35 发布
最新推荐文章于 2024-07-11 10:51:35 发布
阅读量413 收藏 1
点赞数 1
文章标签： flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45872156/article/details/111318720
版权

Event Time概念

Event Time指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间。

如何理解？

例如 在JAVA中 某个实体类 拥有一个属性 该属性为时间戳，这个时间戳可以是该实体类在运用时被赋的值。往大了说就是该事件发生时的时间，给它时间属性赋予了一个值

从生活中理解

如果我打你一下你记住了拿小本本记录下来 什么时间打的 就相当于Event Time
如果我打你一下你没记住 就没有Event Time

个人拙见 Event Time 就是可以自定义的
这样Flink可以根据自定义的Event Time 来制定相应的事件窗口机制

本人只是 分不清Event Time、Processing Time和Ingestion Time这三者的区别 想了很久想明白了分享给大家

骑码找码
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通俗易懂理解Flink水位线
SunnyRivers
08-22 280
水位线对于初学者来说可能不是很好理解，网上很多资料讲解的也不是很清楚，这篇博客尽量用最通俗易懂、最简单的案例把它讲解清楚。理解水位线之前，我们先得理解Flink中的时间语义。现在我们可以知道，水位线就代表了当前的事件时间时钟，而且可以在数据的时间戳基础上加一些延迟来保证不丢数据，这一点对于乱序流的正确处理非常重要。水位线是插入到数据流中的一个标记，可以认为是一个特殊的数据水位线主要的内容是一个时间戳，用来表示当前事件时间的进展水位线是基于数据的时间戳生成的。
Flink Stream原理与代码实例讲解
最新发布
光剑书架上的书
08-03 669
Flink Stream原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在大数据处理领域,实时流式计算是一个非常重要的分支。相比于传统的批处理模式,流式计算可以实时地处理源源不断到来的数据,并及时产生结果,满足实时性要求较高的
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val dstream: DataStream[String] = env.socketTextStream(hadoop1,7777)
聊聊flink的EventTime
weixin_33985679的博客
12-19 207
序 本文主要研究一下flink的EventTime SourceFunction flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java /** * Interface that source functions use t...
hudi数据湖万字全方位教程+应用示例
吴明磊的博客
07-11 649
hudi全方位教程
Flink 中的EventTime详细概念 及示例代码
cxu123321的博客
04-30 882
Flink 中的EventTime详细概念 及示例代码 gym02 Flink时间窗口的计算中，支持多种时间的概念：Processsing，IngestionTime，EventTime。 如果在Flink中用户不做任何设置，默认使用的是ProcesssingTime，其中ProcesssingTime，IngestionTime都是由计算节点产生。不同的是IngestionTime是Data...
Flink EventTime
Claroja
12-29 224
package com.claroja.watermark; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.typeinfo.TypeHint; import org.apache.flink.api.ja
Flink简述
Man2022的博客
09-13 4920
Flink简述
使用scala编写flink消费kafka实时计算pv,uv
大数据技术派
03-21 9916
实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求. 每秒钟要输出最新的统计结果 程序永远跑着不会停,所以要定期清理内存里的过时数据 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制 访问uv并不一定每秒钟都会变...
Hudi CLI 安装配置总结
主要分享大数据相关的知识，如Spark、Hudi
06-07 168
上篇文章总结了Spark SQL Rollback, Hudi CLI 也能实现 Rollback，本文总结下 Hudi CLI 安装配置以及遇到的问题。
flink中的事件时间和水印
dragon_blog的博客
01-01 860
Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，插入到消息流中，输出到Flink流处理系统中，Flink算子按照时间窗口缓存所有流入的消息。比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。+ "|水位线时间戳: "+ wm + ","+ format.format(wm.getTimestamp()));
Flink开发-事件时间窗口EventTimeWindows
qq884121435的博客
08-17 1459
Flink开发-事件时间窗口EventTimeWindows1.Non-Keyed Tumbling Windows2.Keyed Tumbling Windows Event Time指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间。由于事件从发生到进入Flink时间算子之间有很多环节，一个较早发生的事件因为延迟可能较晚到达，因此使用Event Time意味着事件到达有可能是乱序的。 使用Event Time时，最理想的情况下，我们可以一直等待所有的事件到达后再进行时间窗口的处理。假
Flink Event Time Processing and Watermarks
吟啸徐行
05-11 1730
由于之前一直看Flink官方文档学习Flink，但是由于看到WaterMark时候弄得满头雾水，便开始到处搜寻WaterMark的资料，在国外网站找到一篇很容易理解WaterMark的博文，再次分享一下！ If you are building a Realtime streaming application, Event Time process
Flink入门(十二)自定义eventTime
baifanwudi的专栏
05-27 2978
kafka消息是自带timestamp的，但有的时候需要自定义eventTime，直接上代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(); env.setParallelism(2); //这里我采用eventTi...
事件时间(event time)与水印(watermark)
闭源
08-25 1554
引言 在Flink流式引擎消费平台的项目中遇到数据处理顺序错乱的问题，导致项目处于一个不可用状态。本文记录了流式引擎中处理乱序方案中的基础知识点。 正文 一 事件时间（EventTime）和水印（WaterMark）诞生的背景 在实际的流式计算中数据到来的顺序对计算结果的正确性有至关重要的影响 比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。 假设在一个5秒的滚动窗口中，有一个EventTi
Flink学习笔记（六）Time详解
zhang09090606的博客
03-26 940
虽然大部分情况下，传输到Operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络延迟等原因而导致乱序的产生，特别是使用Kafka的时候，多个分区之间的数据无法保证有序。因此，在进行Window计算的时候，不能无限期地等下去，必须要有个机制来保证在特定的时间后，必须触发Window进行计算，这个特别的机制就是Watermark。对于窗口而言它是有生命周期的，只要属于此窗口的第一个元素到达，就会创建一个窗口，当时间（事件或处理时间）超过其结束时间戳加上用户指定的允许延迟时，窗口将被完全删除。
大数据培训课程之EventTime
zjjcchina的博客
01-11 119
上图中，我们设置的允许最大延迟到达时间为2s，所以时间戳为7s的事件对应的Watermark是5s，时间戳为12s的事件的Watermark是10s，如果我们的窗口1是1s~5s，窗口2是6s~10s，那么时间戳为7s的事件到达时的Watermarker恰好触发窗口1，时间戳为12s的事件到达时的Watermark恰好触发窗口2。数据流中的Watermark用于表示timestamp小于Watermark的数据，都已经到达了，因此，window的执行也是由Watermark触发的。
Flink-基于eventtime的时间窗口学习
wuhuo714的博客
02-26 1009
最近在学习flink的窗口的使用，在网上找了一些材料来学习，记录下学习过程中的收获。 要实现的功能：利用netcat生成流数据，并利用flink的窗口进行wordcount。 工具：mac的命令行、idea 步骤1：打开命令行窗口，输入nc -l 777，吊起输入数据的窗口。 数据例子： 1614909800,p 1614909801,p 1614909802,p 1614909790,k 1614909791,k 1614909805,a 1614909806,a 16149098
Flink时间语义解析：EventTime与Watermark机制
"本文主要介绍了Flink中的时间语义，包括EventTime、IngestionTime和ProcessingTime，并重点讲解了EventTime的引入以及Watermark机制，以解决流处理中的数据乱序问题。" 在Flink的流处理框架中，时间语义是至关重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值