Flink中的时间属性总结

最新推荐文章于 2023-04-14 14:34:49 发布
置顶 最新推荐文章于 2023-04-14 14:34:49 发布
阅读量776 收藏 2
点赞数 1
分类专栏： Flink 文章标签： Flink 时间属性 ProcessingTime EventTime
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/109432629
版权
本文详细介绍了Flink中的时间属性，包括Processing Time和Event Time的区别，重点讲解了Event Time及其关键概念Watermark的工作原理。文章通过实例解释了Watermark的生成方式，包括在SourceFunction中和DataStream API中的实现，并探讨了Watermark的传播规则以及在ProcessFunction中的应用，提供了处理单个元素、访问时间戳和旁路输出的代码示例。
摘要由CSDN通过智能技术生成

目录

 

1. 时间属性分类

2. 应用中如何选择时间属性

3. 时间的特性

4. watermark

5. Watermark总结

5.1 Timestamp提取和Watermark生成 

5.2 timestamp和watermakr生成方式总结：

5.3 Watermark传播

5.4 算子节点处理Watermark，ProcessFunction

5.4.1 处理单个元素和访问时间戳的代码实例

5.4.2 旁路输出功能代码样例

6. 参考链接

1. 时间属性分类

上图为2中时间属性的对比。Processing Time处理起来简单，而处理结果（或者说流处理应用的内部状态）是不确定的。而Event Time在Flink内部做了各种保障，无论重放数据多少次，都能得到一个相对确定的可重现的结果。

2. 应用中如何选择时间属性

遵循以下原则：

当应用遇到某些问题时，要从上一个checkpoint或者savepoint进行重放时，是不是希望结果完全相同。

（1）如果希望结果完全相同，则只能用Event Time。

（2）如果可以接受不同，则可以用Processi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
专栏目录
订阅专栏
flink实战--维度join方案在Flink中的实现总结
阿华田的博客
10-31 2704
维度join运用场景简介 维度或者是维表是来自数据仓库维度建模中的概念，区别于事实表业务真实发生的数据，通常用来表示业务属性，比喻订单业务中，商品属性、商家属性都可以称之为维度表。在flink 流处理实时分析中或者实时数仓中，同样需要使用维表来完成一些数据过滤或者字段补齐操作，但是我们所需要的维度数据通常存储在Mysql/Redis/Hbase/Es这样的外部数据库中...
一文聊透 Flink 的 Temporal Join
最新发布
Laurence的技术博客
03-25 2156
Flink的Temporal Join以及Temporal Table （时态表）关系密切，在知识结构上有点混乱，可能是历史原因造成的。本文希望把所有与 Temporal Join 相关的概念进行一次统一梳理，用更规范的知识结构把 Flink 的 Temporal Join 介绍清楚，包括：以 Temporal Table DDL 方式实现基于事件时间的 Temporal Join;以 Temporal Table DDL 方式实现基于处理时间的 Temporal Join;以 Temporal Table
Flink 时间属性深度解析
hhhhhhfq的博客
03-30 2115
前言 Flink 的 API 大体上可以划分为三个层次：最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL / Table API，这三层的每一层都非常依赖于时间属性。 Flink 时间语义 Flink 支持的核心时间语义是 Processing Time 和 Event Time。两者的不同点如下表所示： Processing Time（处理时间） Event Time（事件时间） 真实世界的时间 数据世界的时间 处理数据节点的本地
Flink时间属性
marui156的专栏
04-14 1176
Flink支持三种与流数据处理相关的时间概念：Processing Time、Event Time和Ingestion Time。具体如下图所示：当前Flink仅支持Processing Time和Event Time。
Flink——时间属性
weixin_40693633的博客
12-05 865
时间属性 Flink中有三种不同的时间概念来处理流数据 处理时间(Processing Time )：使用的是机器本身的时间作为标准 事件时间(Event Time)： 需要处理的流中的数据发生的时间，以数据中带的时间戳为标准 摄取时间(Ingestion Time)：*事件进入Flink的时间;在内部它的处理类似于事件时间。 Flink默认使用的是处理时间，如果想使用其他两个时间，可以在执行...
【Flink系列2】时间窗口
安全曼巴2020
09-10 3759
引出 对于流处理系统来说，流入的消息是无限的，所以对于聚合或是连接等操作，流处理系统需要对流入的消息进行分段，然后基于每一段数据进行聚合或是连接等操作。消息的分段即称为窗口，流处理系统支持的窗口有很多类型，最常见的就是时间窗口，基于时间间隔对消息进行分段处理。本节主要介绍Flink流处理系统支持的各种时间窗口。 对于目前大部分流处理系统来说，时间窗口一般是根据Task所在节点的本地时钟来进
flink中的时间属性
SQL_mjkl963124412的博客
05-23 5264
1：时间的几种类型（官网概念） 1.1处理时间 指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ） 1.2事件事件 指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ） 2：时间窗口 flink提供了三种窗口函数分别是滚动窗口 ...
Flink大数据量调优思路总结（二）
击水三千里的专栏
04-10 647
数据量越大越需要对flink进行精细化调优
flink学习总结（大数据面试）
let_go_on的博客
08-16 1859
概述
Apache Flink中的各个窗口时间的概念区分
CainGao
04-16 341
“Apache Flink中提供了基于时间的窗口计算，例如计算五分钟内的用户数量或每一分钟计算之前五分钟的服务器异常日志占比等。因此Apache Flink在流处理中提供了不同时间的支持。” 处理时间(Processing Time) 处理时间是执行相应的操作时的系统时间。一般来说就是Apache Flink在执行某条数据的计算的时刻的系统时间。 处理时间是...
360深度实践：Flink与Storm协议级对比
weixin_42073629的博客
10-24 242
本文从数据传输和数据可靠性的角度出发，对比测试了Storm与Flink在流处理上的性能，并对测试结果进行分析，给出在使用Flink时提高性能的建议。 Apache Storm、Apache Spark和Apache Flink都是开源社区中非常活跃的分布式计算平台，在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说，Storm与Flink的底层计算引擎是基于流的，本质上是一条一条的数据进行处理，且处理的模式是流水线模式，即所有的处理进程同时存在，数据在这些进程之间流动处理。而Spark是基于批
flink-sql所有语法详解
热门推荐
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
【Flink】Flink 源码之时间处理
九师兄
01-16 1537
1.概述 转载：Flink 源码之时间处理 2.Flink支持的时间类型 EventTime： 每条数据都携带时间戳。Operator处理数据的时候所有依赖时间的操作依据数据携带的时间戳。可以支持乱序数据的处理。时间戳信息可以在数据源产生数据的时候指定（SourceFunction的中调用context的collectWithTimestamp收集元素），也可以使用DataStream的assignTimestampsAndWatermarks指定。通常来说在每条数据中会有一个字段存储时间戳信息。 Pr.
Flink原理，实战与性能优化读书笔记(四) watermark+window
小凯的博客
08-31 2747
遇到以下问题： 把那个灰色的import引入就好 指定TimeStamp 与 生成 Watermarks Source Function 直接定义 Timestamps 与 watermarks collectWithTimestamp() 生成时间戳 第一个参数指数据，第二个参数是时间戳 emitWatermark 创建watermark 在addSource中通过实现SourceFuncti...
Flink作业开发清单(5)——Time/时间
TRX的博客
03-25 2118
引用自Time 深度解析 Flink对多种时间语义的支持，是它的优势之一；Flink既支持Processing Time，又支持Event Time： Processing Time 是来模拟我们真实世界的时间，其实就算是处理数据的节点本地时间也不一定就是完完全全的我们真实世界的时间，所以说它是用来模拟真实世界的时间。 而 Event Time 是数据世界的时间，就是我们要处理的数据流世界里面的时间。关于他们的获取方式，Process Time 是通过直接去调用本地机器的时间，而 Event Tim
Flink 时间流处理
chanyue123的博客
03-29 3015
讲解flink中时间的分类，以及时间在水位线、窗口计算中的应用
Flink事件时间处理和水印
hellojoy的博客
10-18 1380
Flink EventTime和Watermarks案例分析https://blog.csdn.net/xu470438000/article/details/83271123 最近找到这个对事件时间处理和水印说的比较好的文章，所以转载一下，供大家分享，原文连接：http://vishnuviswanath.com/flink_eventtime.html 本文用途纯粹是为了分享，如若有侵权，请...
Flink生成时间戳/水印
踏雪无痕
06-12 2967
一.概述 生成时间戳/水印与在事件时间有关。有关事件时间， 处理时间和摄取时间，参考：事件时间概述 为了处理事件时间，流式传输程序需要相应地设置时间特征。 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 二.分配时间戳 为了使用事件时间，Flink需要知道事件的时间戳，这意味着流中的每个元素都需要分配其事件时间
【Flink】Flink 中的时间语义和水位线
克里斯的博客
04-03 2575
水位线是一种特殊的事件，由程序员通过编程插入的数据流里面，然后跟随数据流向下游流动。
flink中时间算子有哪些
04-06
Flink中时间算子包括以下几种： 1. EventTime：基于事件实际发生的时间进行处理。 2. IngestionTime：基于事件进入Flink的时间进行处理。 3. ProcessingTime：基于Flink处理事件的时间进行处理。 4. Window：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值