flink-note笔记：flink中的窗口函数（window function）

最新推荐文章于 2025-01-27 17:39:07 发布
最新推荐文章于 2025-01-27 17:39:07 发布
阅读量234 收藏
点赞数 1
分类专栏： flink-note代码解析 文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cobracanary/article/details/125222975
版权
这篇博客详细介绍了Flink中的窗口函数，包括ReduceFunction、AggregateFunction和ProcessFunction。通过代码示例展示了如何使用这些函数进行窗口操作，如统计一小时内的用户登录量。同时提到了ProcessFunction的灵活性，允许获取更丰富的窗口信息。
摘要由CSDN通过智能技术生成

github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-window/src/main/java/com/wxwmd/window/windows/keyed/TumblingWindow.java和flink-window/src/main/java/com/wxwmd/window/windows/nonkeyed/TumblingWindow.java文件中。
项目github地址： github
项目gitee地址：gitee

flink1.15提供了以下几种窗口函数：

1. ReduceFunction<T>

此窗口函数比较简单，就是将整个窗口中的元素reduce为一个最终的结果，窗口中的元素类型和结果类型都是<T>，使用ReduceFunction<T>需要实现其reduce方法：

T reduce
了解本专栏 订阅专栏 解锁全文
flink-note笔记：flink-window模块中TumblingWindow解析
cobracanary的博客
06-12 227
flink-note笔记：flink-window模块中windows/keyed/TumblingWindow.java运行结果解析
flink-note笔记：flink-window模块中SlidingWindow解析
cobracanary的博客
06-13 202
flink-note笔记：flink-window模块中SlidingWindow解析
Flink之窗口函数WindowFunction
sinat_26781639的博客
03-30 349
前言 本文主要讲解下窗口函数：ReduceFunction，AggregateFunction，ProcessWindowFunction ReduceFunction 是个增量计算的算子，数据来一条算一条，要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~ 直接看代码:模拟订单，计算10s滚动窗口订单金额~~~使用起来比较简单的 package com.realtime.flink.function import com.realtime.flink.dto.OrderDto im
Flink窗口函数
cts618
06-19 398
2.1 窗口函数的分类2.2 增量聚合函数2.2.1 ReduceFunction2.2.1.1 业务需求2.2.1.2 源码①增量聚合函数 →窗口中的元素从第二个开始，每进入一个元素，就会执行一次；然后将迄今为止执行的结果与新的元素进行比较，获得最新的值。以此类推，直到窗口关闭，触发sink操作。 →适用场景：窗口中的元素体量大，否则，容易导致OOM的发生。 →特点：不需要记录窗口中所有的元素，只需要保留迄今为止增量计算的结果即可。②全窗口函数 → 待到窗口关闭后，窗口中所有的元素然后一起进行计算，触发s
Flink学习笔记（九）：flink窗口介绍
小白的专栏
08-17 622
在日常生活场景中，我们经常需要获取某一个事件段的数据，如上文所说，希望统计在10点-11点事件段数据的具体情况，那么如何进行处理呢？ 如有看过前文（Flink学习笔记（七）：flink聚合函数）的小伙伴们可能会记得有一个countWindow，这就是flink给我们提供的算子（窗口，window），使用窗口方法我们可以将数据流分成一个个窗口，然后对窗口内的数据进行处理。 我们先看下flink官网对窗口的描述 windows是处理无限流的核心。 Windows将流分成有限大小的“存储桶”，我们可以在其上应用计
Flink窗口
yingzi的技术博客
04-16 8494
文章目录窗口的概念窗口的分类按照驱动类型分类（1）时间窗口（2）计数窗口（Count Window）按照窗口分配数据的规则分类（1）滚动窗口（Tumbling Windows）（2）滑动窗口（Sliding Windows）（3）会话窗口（Session Windows）（4）全局窗口（Global Windows）窗口API概览按键分区窗口（Keyed）和非按键分区（Non-Keyed）代码中窗口API的调用窗口分配器（Window Assigners）1、时间窗口（1）滚动处理时间窗口（2）滑动处理时间
Flink之窗口的使用(java)
fy1235的博客
11-24 1151
Flink之窗口的使用 前言 我们前面其实一直都有在使用窗口，那么我们现在来针对窗口的各种类型做一个演示。 1.1 窗口简述 聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。window是一种可以把无限数据切割为有限数据块的手段。 1.2 窗口类型 tumbling window：滚动窗口 sliding w
Flink学习笔记-WindowsFunction（篇二）
yangxiaobo118的博客
07-28 4173
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
Flink｜《Flink 官方文档 - DataStream API - 算子 - 窗口》学习笔记
长行
01-12 1135
根据 watermark 测量的 event time 触发：根据 processing time 触发：在窗口中的元素超过预设的限制时触发：接收另一个 trigger 并将它转换成一个会清理数据的 trigger如果你需要实现自定义的 trigger，可以考虑继承抽象类 Trigger。
Flink 笔记
qq_40822132的博客
12-28 606
Apache Flink 概述 Flink是构建在Data Stream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。 第一代：MapReduce 2006年 批 磁盘 M->R 矢量 | 2014.9 Storm诞生 流 延迟低/吞吐小 第二代：Spark RDD 2014.2 批 内存 DAG （若干Stage） | 使用mic...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
Apache Flink 概述学习笔记
2401_82456630的博客
01-22 814
Apache Flink 凭借其强大的功能和特性，在大数据处理领域占据了重要地位。无论是实时流处理还是批量数据处理，Flink 都能提供高效、可靠的解决方案。对于想要深入学习大数据处理技术的同学来说，掌握 Flink 是非常必要的。
20250124 Flink 增量聚合 vs 全量聚合
一條狗的博客
01-24 1074
以下通过对比 **增量聚合** 和 **全量聚合（ProcessWindowFunction）** 的工作机制，结合具体示例解释其原理和优势。| **场景** | **增量聚合** | **全量聚合** |Long sum = iterable.iterator().next();- **增量聚合**：仅保存聚合中间结果（如 `sum=100`, `max=50`）。
flink StreamGraph解析
最新发布
weixin_43839095的博客
01-27 645
Flink程序有三部分operation组成，分别是源source、转换transformation、目的地sink。这三部分构成DAG。DAG首先生成的是StreamGraph。用户代码在添加operation的时候会在env中缓存（变量transformations），在env.execute()执行的时候才会生成对应StreamGraph。
Flink运行时架构
金州饿霸吃不饱的博客
01-23 838
很显然，TaskManager的计算资源是有限的，并行的任务越多，每个线程的资源就会越少。一个数据流在算子之间传输数据的形式可以是一对一（one-to-one）的直通（forwarding）模式，也可以是打乱的重分区（redistributing）模式，具体是哪一种形式，取决于算子的种类。在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。在这种模式下，数据流的分区会发生改变。
Flink把kafa数据写入Doris的N种方法及对比。
大模型大数据攻城狮的专栏
01-22 939
用Flink+Doris来开发实时数仓，首要解决是如何接入kafka实时流，下面是参考Doris官方文档和代码，在自己项目开发的实践中总结，包括一些容易踩坑的细节。
Flink中的时间和窗口
金州饿霸吃不饱的博客
01-23 497
1.4.1 时间窗口1.4.2 计数窗口1.5.1 增量聚合函数（ReduceFunction / AggregateFunction）1.5.2 全窗口函数（full window functions）1.5.3 增量聚合和全窗口函数的结合使用
Flink (十三) ：Table API 与 DataStream API 的转换 （一）
Leven Data Sharing
01-27 820
本文初步描述了table API 如何转成datastream API
flink -m localhost:8081 与--target
06-16
`flink -m localhost:8081` 是启动 Flink 集群时指定使用的 master 节点地址，表示将 Flink 作业提交到该节点上执行。而 `--target` 则是 Flink 作业提交命令 `flink run` 的参数，用于指定作业提交的目标 YARN 集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值