Flink的时间语义总结

最新推荐文章于 2024-05-06 22:30:42 发布
最新推荐文章于 2024-05-06 22:30:42 发布
阅读量309 收藏
点赞数
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43616627/article/details/120538750
版权
本文详细介绍了Flink的时间语义，包括事件时间、吸入时间和处理时间，并重点解析了Watermark机制，阐述其背景、作用和种类。同时，讲解了如何在Source算子中生成时间戳和水位线，以及Flink对延迟数据的处理策略，包括丢弃、允许延迟更新和侧输出。
摘要由CSDN通过智能技术生成

在实际的工作中慢慢摸索和使用Flink也有将近一年的时间了，这段时间打算好好总结和整理一下，有兴趣想要了解Flink流处理技术的，看我的这个博客合集就可以了。如果有什么问题可以多多讨论交流。以下进入正文。

文章目录

1. Flink支持的时间语义

Flink支持三种时间语义：事件时间，吸入时间和处理时间。三个时间的概念还是比较简单的，不再赘述。
三种时间语义的图示
在源代码中表示如下：

@PublicEvolving
public enum TimeCharacteristic {
   
	ProcessingTime,
	IngestionTime,
	EventTime
}

设置时间语义的方法：

final StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment
最低0.47元/天 解锁文章
满岛菜鸟
关注
专栏目录
Day77_Flink(三）Flink时间语义和水印
qq_36972345的博客
11-04 355
课程大纲 课程内容 学习效果 掌握目标 时间语义 EventTime 掌握 IngestionTime 掌握 ProcessingTime 掌握 水印 水印 ...
Flink 时间语义、水印、窗口
sinat_26781639的博客
03-25 231
一、前言 本文主要关于Flink1.12.0中关于时间语义，watermark，以及windows的一些使用和理解。 二、背景 准备重新梳理下flink的相关应用，以及flink源码解读，更深入的了解和学习下flink的使用。开始部分文章会写flink应用层的使用,以及一些代码例子。后面会针对源码进行一个剖析~~ 三、时间语义、watermark 在flink中时间语义分为两种 1、eventtime 事件时间，可以理解这条记录产生的时间 ，一般都是在记录的某个字段里。 2、processtime 处理时间
flink的时间语义
m0_66520412的博客
01-17 345
flink中，如果定义一个一小时的时间窗口，并处理这一小时的窗口内的数据，那么这一个小时是怎么定义的呢？换句话说，这个一小时是物理机系统时间还是数据中定义的时间，这时就会用到时间语义。
Flink时间语义
weixin_43918355的博客
06-29 572
Event Time: 事件创建的时间, 每一条数据在它发生地产生的时间 Ingestion(摄入) Time: 数据进入Flink(data source)的时间 Processing Time: 执行操作算子的本地系统时间, 与机器下相关, 这个才是window算子执行的时间 ...
Flink 时间语义
qq_27242695的博客
06-23 322
Flink 时间语义 时间语义介绍 Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器 相关，默认的时间属性就是 Processing Time。 使用 在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime
Flink之时间语义
weixin_45650737的博客
04-06 150
1.Flink中的时间语义 2.设置Event Time：事件创建的时间：可以从日志数据的时间戳中提取； Ingestion Time:数据进入flink的时间 Processing Time :执行操作算子的本地系统时间，与机器无关 默认时间 3.水位线（Watermark） 4.watermark的传递，引入和设定 ...
Flink时间语义 | 大数据技术
最新发布
小知识吖
05-06 1284
Flink中，时间通常分为三类EventTime:事件(数据)时间,是事件/数据真真正正发生时/产生时的时间IngestionTime:摄入时间,是事件/数据到达流处理系统的时间ProcessingTime:处理时间,是事件/数据被处理/计算时的系统的时间Flink的三种时间语义中，处理时间和摄入时间都可以不用设置Watermark。如果我们要使用事件时间Event Time语义，以下两项配置缺一不可
flink中的时间语义和水位线及迟到处理
03-30
### Flink中的时间语义、水位线及迟到数据处理详解 #### 一、窗口的作用与分类 **1.1 窗口的作用** 在Flink的流处理中，窗口是一种重要的机制，它将无限的数据流分割成有限的片段来进行处理。这种分割使得流处理...
Flink知识点总结文档
03-14
2、支持事件时间（Event Time）概念，结合Watermark处理乱序数据 3、支持有状态计算，并且支持多种状态 内存、文件、RocksDB 4、支持高度灵活的窗口（Window）操作 time、count、session 5、基于轻量级分布式快照...
【Flink】Flink时间语义详解
pcx171的博客
02-15 1977
本文首先介绍 Flink 的三种时间语义（Event Time、Processing Time 和 Ingestion Time），然后详细介绍 Flink-watermark 机制。
【FLINK学习笔记】FLINK时间语义
qq_37023928的博客
02-01 1291
主要内容是flink的waterMark设置与理解
大数据——Flink 时间语义
热门推荐
Vicky_Tang
08-26 1万+
目录 一、时间语义 1.1 三种时间概念 1.1.1 ProcessTime 在代码中的使用 1.1.2 EventTime 在代码中的使用 1.1.3 关于窗口起始时间的计算值 二、对事件的处理 2.1 有序事件 2.2 乱序事件 2.3 指定 Timestamps 与生成 Watermarks 2.4 使用WatermarkStrategy 工具类指定时间戳和Watermark 2.5 自定义指定 Timestamps 和 Watermarks 2.6 对迟到数据的处理 ...
Flink时间语义和watermark
勇心在馨
12-18 534
一、时间语义 Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行算子操作的本地系统时间，与机器相关 设置时间语义 StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); ...
Flink 之时间语义与Wartermark
Doctor_96的博客
09-21 390
一、时间语义 1、Event Time ：事件创建的时间 1） 一般情况下是从日志数据或者业务数据的时间戳（timestamp）中提取。 2）通过执行环境调用setStreamTimeCharacteristic(TimeCharacteristic.EventTime)来进行设置 3）在Event Time模式处理数据流的情况下，Flink会根据数据中的时间戳来处理基于时间的算子。 2、Ingestion Time ：事件进入Flink的时间 3、Processing Time ： 执行操作算子的本地系统
【Flink入门（5）】Flink的时间语义与Watermark
小C的博客
06-07 831
flink中有3种时间语义，这里主要讲EvenTime事件时间，从数据的时间戳中提取，属于事件创建的时间，区别于数据到达时间（Ingestion Time）和处理时间（Processing Time）。 Watermark（水位线）是一种处理乱序数据的机制，相当于扩宽window窗口以处理迟到数据。.......................................
Flink中的时间语义与Watermark概念
sinat_34241861的博客
04-22 296
一、时间语义 Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关
flink基础概念之什么是时间语义
2301_80792800的博客
01-21 795
一分钟带你了解flink的三种时间语义
Flink的三种时间语义
weixin_59295776的博客
12-09 575
Event Time 在大数据领域，日志服务器生成的一条数据也可以称为一个事件。Event Time是指在数据产生时该设备上对应的时间，这个时间在进入Flink之前已经存在于数据记录中了。以后数据被Flink处理数据，如果使用Event Time作为时间标准，那么数据并不是按照Event Time的先后顺序被处理的，由于数据可能产生在多个不同的日志服务器，然后通常是再将数据写入到分布性消息中间件，然后被被Flink拉取进行处理时，处理的实际时间相对于数据产生的实际肯定有一定的延迟，并且Event Time
Flink学习——Flink中的时间语义和窗口
five小点心的博客
05-22 1626
水位线可以看作是一条特殊的数据记录，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前的事件事件。而它插入流中的位置，就应该是在某个数据到来之后。表示该时间点之前所有的时间都已经到达系统。我们之前学习过批处理，是指数据积累到一定的程度再进行处理。而Flink是一种流式处理框架。所谓流处理，就是数据来一条数据处理一条。那么，如果我们的数据是按顺序发送（有序流），那么按照顺序进行处理没有问题。但是消息不在是按照顺序发送，产生了乱序，这时候该怎么处理？于是我们引入了水位线的概念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值