【Flink实战】二、分享关于时间窗口机制的学习理解和极好的博客链接

✅作者简介:大家好我是王大梨,是一名虽然菜但是爱分享的程序员、架构师、信息安全爱好者🏆
📃个人主页:王大梨🍐的csdn博客 🔥
系列专栏:Flink实战,篇篇都是flink的干货,结合理论知识和实际项目,让你透彻理解flink!
💖如果觉得博主的文章还不错的话,请👍三连支持一下博主哦🤞

最近在研究flink的时间窗口机制,遇到了很多问题,也学到了很多。
flink的时间窗口机制属于flink中的重难点了,也属于flink的亮点之一。flink是处理流数据的,如果我们想要看到过去某段时间的数据记录,就需要时间窗口。
时间窗口中的时间,是一个关键词。怎样理解时间呢。flink官方文档中对flink支持的三种时间属性做了基本的解释
这个概念不难理解,就是三种时间属性:
处理时间,对应英文是processing time,指的是执行具体操作时的机器时间(大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) );
事件时间 指的是数据本身携带的时间。这个时间是在事件产生时的时间;
摄入时间 指的是数据进入 Flink 的时间;在系统内部,会把它当做事件时间来处理。
很好理解,平时我们在处理实时数据时一般都是用事件时间,即EventTime。
在使用前需要在代码里做一下设定:

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); // default

// 或者:
// env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);
// env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

那在处理实时数据的时候,很多时候因为数据积压、网络不稳定或者其他情况,会出现事件延迟的情况,也就是会有数据乱序或者晚到。那么为了能够处理乱序的事件,并且区分正常到达和晚到的事件,flink需要从事件中获取事件时间并且产生水印,也就是watermark(s)。
水印的概念也值得之后好好讲一下。官方文档里还介绍了如何在flink Table API & SQL里面定义时间以及相关的操作,这个之后再分析。

接下来看窗口这个概念。
窗口,放在数据流里,相当于截取了一段数据流。窗口可以分成:滚动窗口(Tumbling Window,数据无重叠),滑动窗口(Sliding Window,数据有重叠),计数窗口和会话窗口。

放链接了:

【Flink】超详细Window机制……
介绍:总结的真的很棒,言简意赅,但是该有的都有,并且作者很用心地画了不少图帮助理解,博客界的真·良心典范;
第六章,基于时间和窗口的操作符
介绍:尚硅谷flink教程,良心!(我好像词穷?) 详细地介绍了基于时间和窗口的操作符,首先,介绍了如何定义时间属性,时间戳和水位线。然后介绍底层操作process function(它可以让我们访问时间戳和水位线,以及注册定时器事件)。接下来,带领大家使用Flink的window API,它提供了通常使用的各种窗口类型的内置实现。从该链接中,我们将会学到如何进行用户自定义窗口操作符,以及窗口的核心功能:assigners(分配器)、triggers(触发器)和evictors(清理器)。最后,我们将学会如何基于时间来做流的联结查询,以及处理迟到事件的策略。干货满满!

知乎专栏:Flink的专家之路
无意中发现的宝藏专栏。作者深耕flink,在成为专家的路上积累出了这个专栏,一共几十篇,篇篇是干货!

欺诈检测器 v2:状态 + 时间 = ❤️
这是我在研究如何实现两条数据关联分析的需求时,发现的宝藏例子。flink的官方文档真的值得多看几遍,拿放大镜看!按理说我接触flink也挺久了,但水平一直浮在表面,其原因可能就是我不肯好好研究官方文档

所以看到这篇博客的兄弟姐妹们👬👭一定要好好读官方文档啊!官方文档诚不欺我!

Flink Meetup - 基于Flink的实时用户行为分析
这是一篇很老的博客了,19年的,但是作者对flink或者说大数据领域研究比较深入,是做大数据计算防线的工程师,也热爱分享,他的博客写的都非常深入,也有着自己的思考,非常值得品鉴!

持续更新中哦,最近因为需求的深入分析和变更,我对时间窗口这块的理解更深入了。关注我,我会持续地分享自己对flink的理解与实战!和大🍐我一起进步呦~

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王大梨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值