flink实战--窗口与窗口函数终极解析

最新推荐文章于 2024-12-12 22:11:37 发布
最新推荐文章于 2024-12-12 22:11:37 发布
阅读量5.4k 收藏 13
点赞数 1
分类专栏： Flink学习必读系列 文章标签： flink窗口 窗口类型 flink窗口操作 flink 分组聚合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/85250713
版权
本文深入探讨Flink的窗口操作，包括窗口类型（翻滚、滚动、会话）和控制流方式（Keyed与Non-Keyed）。详细介绍了窗口的核心组件，如窗口分配器、触发器、驱逐器、允许延迟和Side Output。此外，文章讨论了窗口函数，如AggregateFunction、ProcessWindowFunction，并通过实例展示了如何计算最高分、单词计数和模拟电商业务的PV计算。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Flink的windows类型

本文主要介绍flink窗口的操作，相关窗口基础概念参考博客：flink实战--flink原理解析_阿华田的博客-CSDN博客

按照行为划分可分为三类：

  1.    翻滚窗口（Tumbling Window，无重叠）
了解本专栏 订阅专栏 解锁全文 超级会员免费看
聊聊Flink：这次把Flink的window分类(滚动、滑动、会话、全局)、窗口函数讲透
riemann_的博客
11-24 1014
那么窗口的起止时间将变为[0:15:00.000~1:14:59.999），这样你将得到起始时间在0:15:00，1:15:00，2:15:00的窗口。例如，在没有偏移的情况下，时间窗口会做一个对齐，那么1小时窗口的起止时间可以是[0:00:00.000~0:59:59.999）。ProcessWindowFunction是全量计算函数，如果需要依赖窗口中的所有数据或需要获取窗口中的状态数据和窗口元数据（窗口开始时间、窗口结束时间等），就需要使用ProcessWindowFunction。
flink 全局窗口
wppwpp1的专栏
09-17 482
import org.apache.flink.streaming.api.datastream.AllWindowedStream; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator; import org.apache.flink.streaming.api.envi..
Flink：入门介绍
m0_37559973的博客
12-04 1320
Apache Flink是一个框架和分布式处理引擎，用于在无界和有界数据流上进行有状态计算。Flink 提供了数据分发以及并行化计算的能力，并且可以部署在各种集群环境中，如Hadoop YARN、Kubernetes或独立集群。。
Flink窗口及其分类-详细说明
勇敢牛牛，不怕困难！
11-19 5881
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之下，我们应该把窗口理解成一个“桶”。在 Flink 中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。
Flink中Global Windows 全局窗口
TB_CYX的博客
02-06 380
全局窗口介绍
Flink窗口
yingzi的技术博客
04-16 8494
文章目录窗口的概念窗口的分类按照驱动类型分类（1）时间窗口（2）计数窗口（Count Window）按照窗口分配数据的规则分类（1）滚动窗口（Tumbling Windows）（2）滑动窗口（Sliding Windows）（3）会话窗口（Session Windows）（4）全局窗口（Global Windows）窗口API概览按键分区窗口（Keyed）和非按键分区（Non-Keyed）代码中窗口API的调用窗口分配器（Window Assigners）1、时间窗口（1）滚动处理时间窗口（2）滑动处理时间
Flink详解 Metrics 原理与实践
hhhhhhfq的博客
04-12 2429
什么是 Metrics ? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实行查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该很
Apache Flink 进阶（八）：详解 Metrics 原理与实战
数据库技术
11-21 335
本文由 Apache Flink Contributor 刘彪分享，本文对两大问题进行了详细的介绍，即什么是 Metrics、如何使用 Metrics，并对 Metrics 监控实战进行解释说明。 什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快...
智创 AI 新视界 -- 改进 AI 循环神经网络（RNN）的实践探索（16 - 12）
最新发布
【青云交】荣登全国原力榜首，作者周榜前二，全网领军人物前二，苏州均榜首。
12-12 1441
本文围绕 RNN 的改进展开深度实践探索，从基础原理回顾与局限性剖析入手，通过实际案例和实验数据展现问题所在；接着详细阐述门控机制（LSTM 和 GRU）的优化应用及在股票预测、诗歌生成等任务的出色表现，以及注意力机制与 RNN 及其变体的融合创新，如在机器翻译、图像描述生成任务中的显著提升效果，给出丰富详细且优化后的代码示例，最后提出互动问题并自然引出下一篇关于 AI 伦理困境的文章。
【Hive与传统数据库的对决】：优势、局限与最佳应用场景解析
[【Hive与传统数据库的对决】：优势、局限与最佳应用场景解析](https://www.simplilearn.com/ice9/free_resources_article_thumb/Data_File_Partitioning/Data_File_Partitioning_1.JPG) # 1. Hive与传统数据库概览 ...
Flink-基于Table的窗口、聚合操作
qq_38304392的博客
10-17 298
我们知道，窗口可以将无界流切割成大小有限的“桶”(bucket)来做计算，通过截取有限数据集来处理无限的流数据。在 DataStreamAPI 中提供了对不同类型的窗口进行定义和处理的接口，而在 Table API 和 SQL 中，类似的功能也都可以实现。 1.窗口 1.1分组窗口(Group Window，1.12版本之前) 在 Flink 1.12 之前的版本中，Table API 和 ...
大数据之flink教程-TableAPI和SQL.pdf
07-27
第一章 整体介绍 2 1.1 什么是 Table API 和 Flink SQL 2 1.2 需要引入的依赖 2 1.3 两种 planner（old & blink）的区别 4 第二章 API 调用 5 2.1 基本程序结构 5 2.2 创建表环境 5 2.3 在 Catalog 中注册表 7 2.3.1 表（Table）的概念 7 2.3.2 连接到文件系统（Csv 格式） 7 2.3.3 连接到 Kafka 8 2.4 表的查询 9 2.4.1 Table API 的调用 9 2.4.2 SQL 查询 10 2.5 将 DataStream 转换成表 11 2.5.1 代码表达 11 2.5.2 数据类型与 Table schema 的对应 12 2.6. 创建临时视图（Temporary View） 12 2.7. 输出表 14 2.7.1 输出到文件 14 2.7.2 更新模式（Update Mode） 15 2.7.3 输出到 Kafka 16 2.7.4 输出到 ElasticSearch 16 2.7.5 输出到 MySql 17 2.8 将表转换成 DataStream 18 2.9 Query 的解释和执行 20 1. 优化查询计划 20 2. 解释成 DataStream 或者 DataSet 程序 20 第三章 流处理中的特殊概念 20 3.1 流处理和关系代数（表，及 SQL）的区别 21 3.2 动态表（Dynamic Tables） 21 3.3 流式持续查询的过程 21 3.3.1 将流转换成表（Table） 22 3.3.2 持续查询（Continuous Query） 23 3.3.3 将动态表转换成流 23 3.4 时间特性 25 3.4.1 处理时间（Processing Time） 25 3.4.2 事件时间（Event Time） 27 第四章 窗口（Windows） 30 4.1 分组窗口（Group Windows） 30 4.1.1 滚动窗口 31 4.1.2 滑动窗口 32 4.1.3 会话窗口 32 4.2 Over Windows 33 1） 无界的 over window 33 2） 有界的 over window 34 4.3 SQL 中窗口的定义 34 4.3.1 Group Windows 34 4.3.2 Over Windows 35 4.4 代码练习（以分组滚动窗口为例） 36 第五章 函数（Functions） 38 5.1 系统内置函数 38 5.2 UDF 40 5.2.1 注册用户自定义函数 UDF 40 5.2.2 标量函数（Scalar Functions） 40 5.2.3 表函数（Table Functions） 42 5.2.4 聚合函数（Aggregate Functions） 45 5.2.5 表聚合函数（Table Aggregate Functions） 47
Flink 中的窗口
m0_63475429的博客
10-15 2092
更加高效的做法是，把无界流进行切分，每一段数据分别进行聚合，结果只输出一次。这 就相当于将无界流的聚合转化为了有界数据集的聚合，这就是所谓的“窗口”（Window）聚合 操作。在实际应用中，我们往往更关心一段 时间内数据的统计结果，比如在过去的 1 分钟内有多少用户点击了网页。在这种情况下，我们 就可以定义一个窗口，收集最近一分钟内的所有用户点击数据，然后进行聚合统计，最终输出 一个结果就可以了。在流处理中，我们往往需要面对的是连续 不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处理。
Apache Flink窗口详解
喻师傅的学习笔记
07-23 1413
Apache Flink 的核心功能之一是窗口处理，它允许开发人员以基于时间或基于计数的方式分组和处理数据流。窗口技术是一种根据某些标准将数据流划分为有限块（称为窗口）的技术。窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。例如，您可以根据时间间隔（每 5 分钟）、事件计数（每 100 个事件）或会话边界（不活动间隙）定义窗口。在每个窗口内，您可以对数据进行各种操作，如聚合（总和、平均、计数）、转换（映射、过滤、连接）或复杂的业务逻辑。
flink 滚动窗口、滑动窗口、会话窗口、全局窗口
热门推荐
不是一枚开发
06-03 8万+
  根据分配数据的规则，窗口的具体实现可以分为 4 类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window），以及全局窗口（Global Window）  滚动窗口有固定的大小，是一种的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。   与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾
Flink时间和窗口
L
07-24 1493
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
Flink学习笔记（五）窗口详解
zhang09090606的博客
03-26 766
Flink中Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。
Flink详解系列之六--窗口机制
wr_java的博客
04-13 722
触发器决定了一个窗口何时可以被窗口函数处理，每一个窗口分配器都有一个默认的触发器，如果默认的触发器不能满足你的需要，你可以通过调用trigger(...)来指定一个自定义的触发器。否则，由于全局窗口没有一个自然的结尾，无法执行元素的聚合，将不会有计算被执行。从滑动窗口的使用来看，滚动窗口其实是滑动窗口的一个特例，但窗口大小和滑动间隔相等的时候，滑动窗口就是一个滚动窗口。基于计数的窗口是根据事件的个数来对窗口进行划分的，概念跟基于时间的滚动窗口差不多，只不过窗口大小的划分，有时间变成了事件的个数。
7、如何使用Flink中的窗口（Window算子）
向热爱自己一样，热爱这个世界。
09-26 1330
如何在Flink中使用窗口
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值