Flink系列（5）—— Flink中的时间和窗口操作

已于 2025-01-07 11:44:44 修改
阅读量802 收藏
点赞数
分类专栏： 大数据从入门到精通 文章标签： flink 大数据 scala
于 2023-10-19 11:49:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/133922519
版权
本文介绍了Flink中的窗口概念，包括时间窗口和计数窗口的类型、属性以及实例应用，如滚动窗口、滑动窗口、会话窗口和全局窗口。通过实际案例展示了如何在Flink中使用这些窗口进行数据聚合和统计。
摘要由CSDN通过智能技术生成
本专栏案例代码和数据集链接： https://download.csdn.net/download/shangjg03/88477960

1.窗口概念

在大多数场景下，我们需要统计的数据流都是无界的，因此我们无法等待整个数据流终止后才进行统计。通常情况下，我们只需要对某个时间范围或者数量范围内的数据进行统计分析：如每隔五分钟统计一次过去一小时内所有商品的点击量；或者每发生1000次点击后，都去统计一下每个商品点击率的占比。在 Flink 中，我们使用窗口 (Window) 来实现这类功能。按照统计维度的不同，Flink 中的窗口可以分为 时间窗口 (Time Windows) 和 计数窗口 (Count Windows) 。

2. 窗口类型

了解本专栏 订阅专栏 解锁全文
大数据Flink（一百一十七）：Flink SQL的窗口操作
Lansonli（蓝深李）的博客
09-12 1583
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
Flinksql实时计算——group by key和 group by key 带窗口聚合有什么不同
科学的N次方
03-05 1112
带窗口聚合时，你可以指定一个时间窗口（如过去一小时、过去一天等），并在这个时间窗口内对 key 进行聚合。这允许你分析在特定时间范围内的数据，而不是整个历史数据集。这个聚合是基于 key 的所有历史数据进行的，不考虑时间窗口或数据排序。在处理流数据时特别有用，因为它允许你分析数据的实时变化，而不仅仅是整个数据集的历史聚合。查询将返回每个用户在每个一小时窗口内的行为数。带窗口聚合的主要区别在于它们如何处理数据的时间维度和计算结果的粒度。函数用于确定每个小时的时间窗口的开始时间，而。这些区别使得带窗口的。
flink的时间窗口和计数窗口
liuchangxus的博客
12-22 1179
val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val inputdata: DataStream[String] = env.socketTextStream("hadoop102", 6666) //时间窗口 滚动窗口 10秒执行一次每次执行10以内的数据 数据执行不重叠 inputdata.map(p=>{ val s = p.split(",") (
实时Flink大数据分析平台的数据流时间窗口操作
AI天才研究院
01-21 961
1.背景介绍 在大数据时代，实时分析和处理数据变得越来越重要。Apache Flink是一个流处理框架，它可以处理大规模的实时数据流，并提供高性能和低延迟的数据处理能力。在Flink中，时间窗口是一种有用的数据处理方法，可以帮助我们对数据流进行聚合和分析。本文将深入探讨Flink大数据分析平台的数据流时间窗口操作，包括背景介绍、核心概念、算法原理、最佳实践、应用场景、工具推荐等。 1. 背景介...
Flink窗口起始时间计算
数据工匠记
03-05 3826
Flink中窗口的时间不是根据进入窗口的第一个元素计为窗口的开始时间和加Size计窗口结束时间，而是根据Flink内置计算公式timestamp - (timestamp - offset + windowSize) % windowSize计算。 /** * Method to get the window start for a timestamp. * * @param timestamp epoch millisecond to get the window start. （记录时间戳）
【随记】Flink 时间窗口的起始时间
qq_32495629的博客
09-09 2056
Flink 时间窗口的起始时间
Flink中的时间和窗口（二）
JiaXingNashishua的博客
09-14 2198
所以截取出的就是某一时间 段的数据。到达结束时间时，窗口不再收集数据，触发计算输出结果，并将窗口关闭销毁。所 以可以说基本思路就是“定点发车”。用结束时间减去开始时间，得到这段时间的长度，就是窗口的大小（window size）。这里 的时间可以是不同的语义，所以我们可以定义处理时间窗口和事件时间窗口。Flink 中有一个专门的类来表示时间窗口，名称就叫作。
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》是一部深入探讨大数据处理技术的专著，特别聚焦于Apache Flink这一实时计算框架。在Java编程环境下，Flink以其高效、稳定和强大的流处理能力，成为了大数据领域的热门选择...
Flink实战——每隔5秒，统计最近10秒的窗口数据
Siobhan_Mxin的博客
12-20 4057
flink实战1
Flink-窗口起始时间确定规则、闭窗时间计算规则
qq_38304392的博客
08-18 128
窗口何时开始 看下TumblingEventTimeWindows这个类 @Override public Collection<TimeWindow> assignWindows( Object element, long timestamp, WindowAssignerContext context) { if (ti...
Flink打印窗口的开始时间和结束时间
justlpf的专栏
04-23 542
Flink用水位线和窗口机制配合来处理乱序事件,保证窗口计算数据的正确性,当水位线超过窗口结束时间的时候,就会触发窗口计算水位线是动态生成的,根据进入窗口的最大事件时间-允许延迟时间滚动时间窗口：按照固定的时间长度对数据进行分组,窗口之间没有重叠，例如，5秒的滚动窗口。开始时间为当前窗口大小的整数倍，结束时间为开始时间加上窗口大小滑动时间窗口：按照固定的时间长度对数据进行分组,窗口之间有重叠，例如，5秒的滑动窗口，每2秒钟滑动一次。
Flink 中的时间和窗口
文文x的博客
10-11 1310
Flink中的窗口并不是提前创建好了的，而是动态创建的，当有落在这个窗口区间范围 的数据达到时，才创建对应的窗口。简单来说，Flink是一个流式计算引擎，主要用来处理无界数据流的，数据源源不断、无穷无尽，想要方便高效的处理这种无界数据流，一种方式就是将这种无界数据划分为多个有界的"数据块"，这其实就是窗口(Window)。时间窗口以时间点来定义窗口的开始（start）和结束（end），所以截取出的就是某一时间段的数据。通过上面的图我们可以看到，时间窗口的时间固定，计数窗口的计数固定。
Flink中时间和窗口
热门推荐
lydms的博客
06-28 1万+
如图所示，在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：一个是数据产生的时间，我们把它叫作“事件时间”（Event Time）；另一个是数据真正被处理的时刻，叫作“处理时间”（Processing Time）。我们所定义的窗口操作，到底是以那种时间作为衡量标准，就是所谓的“时间语义”（Notions of Time）。
Flink的窗口聚合操作(Time\Count Window)
影子
03-28 3351
窗口基本概念：Flink中的窗口是左闭右开的窗口 Flink认为批处理是流处理的一个特例，而窗口window就是从流处理到批处理的一个桥梁，通常来讲窗口就是用来将无线数据流转换为优先数据集，从而在优先数据集上进行操作的一种机制，在flink当中支持基于无限大（永久）窗口的集合操作以及特定窗口的集合操作。 在flink当中支持的窗口聚合主要分为2种：window Aggregate和Over Aggregate，window Aggregate只有当窗口结束时才会输出结果，window aggre.
Flink四大基石--------------Time(Event Time).未完待续
data_curd的博客
05-26 734
Time 时间分类 EventTime(事件发生时间)： 事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间如果以EventTime为基准来定义时间窗口那将形成EventTimeWindow,要求消息本身就应该携带EventTime IngestionTime(数据被Flink的Source加载的时间)： 数据进入Flink的时间，如某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据如果以IngesingtTim
Flink中的时间与窗口
XuXuemin的专栏
03-06 522
Flink的时间语义介绍，窗口及窗口函数的介绍
Flink 的时间属性及原理解析
最新发布
2401_87288961的博客
09-21 1859
因此在判断应该使用还是Event Timecheckpointsavepoint。如果希望结果完全相同，就只能用Event Time；如果接受结果不同，则可以用。的一个常见的用途是，根据现实时间来统计整个系统的吞吐，比如要计算现实时间一个小时处理了多少条数据，这种情况只能使用。
【基于Flink的城市交通实时监控平台】需求二：卡口的实时拥堵情况-滑动窗口
qq_31412425的博客
06-18 494
卡口的实时拥堵情况，其实就是通过卡口的车辆平均车速和通过的车辆的数量，为了统计实时的平均车速，我设定一个滑动窗口，窗口长度是为5分钟，滑动步长为1分钟。任意从端口发送对应格式的数据即可。
Flink中开窗的延迟触发、侧输出流的应用
YYDS_emmm的博客
08-26 1180
Flink中开窗的延迟触发、侧输出流的应用 注意如何处理迟到数据和侧数据流♥： flink 解决乱序事件： 1.设定eventTime 和 waterMark 通过延时时长，使窗口等待一定时间以后再触发 2.如果窗口已经触发了，还有数据没有来，那就使用允许迟到时间 （allowedLateness）此时窗口虽然被触发了到那时没有关闭，等数据来了再次触发 3.若允许迟到时间过了，还有数据没有来，那就使用将数据放入侧输出流 流程图示意如下： import java.time.Duration impor
大数据实时欺诈检测系统——Flink项目实践
4. 窗口操作：Flink 支持时间窗口和计数窗口等窗口操作，允许对数据进行时间或事件的聚合处理。在欺诈检测中，可以通过窗口计算特定时间段内的交易行为模式，从而检测出潜在的欺诈行为。 5. 聚合与模式识别：Flink ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值