flink-note笔记：flink中的窗口函数（window function）

最新推荐文章于 2024-09-05 10:39:00 发布
最新推荐文章于 2024-09-05 10:39:00 发布
阅读量211 收藏
点赞数 1
分类专栏： flink-note代码解析 文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cobracanary/article/details/125222975
版权
这篇博客详细介绍了Flink中的窗口函数，包括ReduceFunction、AggregateFunction和ProcessFunction。通过代码示例展示了如何使用这些函数进行窗口操作，如统计一小时内的用户登录量。同时提到了ProcessFunction的灵活性，允许获取更丰富的窗口信息。
摘要由CSDN通过智能技术生成

github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-window/src/main/java/com/wxwmd/window/windows/keyed/TumblingWindow.java和flink-window/src/main/java/com/wxwmd/window/windows/nonkeyed/TumblingWindow.java文件中。
项目github地址： github
项目gitee地址：gitee

flink1.15提供了以下几种窗口函数：

1. ReduceFunction<T>

此窗口函数比较简单，就是将整个窗口中的元素reduce为一个最终的结果，窗口中的元素类型和结果类型都是<T>，使用ReduceFunction<T>需要实现其reduce方法：

T reduce
了解本专栏 订阅专栏 解锁全文
canaryW
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink-note笔记：flink-window模块中TumblingWindow解析
cobracanary的博客
06-12 198
flink-note笔记：flink-window模块中windows/keyed/TumblingWindow.java运行结果解析
Flink之窗口函数WindowFunction
sinat_26781639的博客
03-30 314
前言 本文主要讲解下窗口函数：ReduceFunction，AggregateFunction，ProcessWindowFunction ReduceFunction 是个增量计算的算子，数据来一条算一条，要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~ 直接看代码:模拟订单，计算10s滚动窗口订单金额~~~使用起来比较简单的 package com.realtime.flink.function import com.realtime.flink.dto.OrderDto im
Flink窗口函数
cts618
06-19 374
2.1 窗口函数的分类2.2 增量聚合函数2.2.1 ReduceFunction2.2.1.1 业务需求2.2.1.2 源码①增量聚合函数 →窗口中的元素从第二个开始，每进入一个元素，就会执行一次；然后将迄今为止执行的结果与新的元素进行比较，获得最新的值。以此类推，直到窗口关闭，触发sink操作。 →适用场景：窗口中的元素体量大，否则，容易导致OOM的发生。 →特点：不需要记录窗口中所有的元素，只需要保留迄今为止增量计算的结果即可。②全窗口函数 → 待到窗口关闭后，窗口中所有的元素然后一起进行计算，触发s
Flink学习笔记（九）：flink窗口介绍
小白的专栏
08-17 589
在日常生活场景中，我们经常需要获取某一个事件段的数据，如上文所说，希望统计在10点-11点事件段数据的具体情况，那么如何进行处理呢？ 如有看过前文（Flink学习笔记（七）：flink聚合函数）的小伙伴们可能会记得有一个countWindow，这就是flink给我们提供的算子（窗口，window），使用窗口方法我们可以将数据流分成一个个窗口，然后对窗口内的数据进行处理。 我们先看下flink官网对窗口的描述 windows是处理无限流的核心。 Windows将流分成有限大小的“存储桶”，我们可以在其上应用计
Flink窗口
yingzi的技术博客
04-16 8340
文章目录窗口的概念窗口的分类按照驱动类型分类（1）时间窗口（2）计数窗口（Count Window）按照窗口分配数据的规则分类（1）滚动窗口（Tumbling Windows）（2）滑动窗口（Sliding Windows）（3）会话窗口（Session Windows）（4）全局窗口（Global Windows）窗口API概览按键分区窗口（Keyed）和非按键分区（Non-Keyed）代码中窗口API的调用窗口分配器（Window Assigners）1、时间窗口（1）滚动处理时间窗口（2）滑动处理时间
Flink之窗口的使用(java)
fy1235的博客
11-24 1087
Flink之窗口的使用 前言 我们前面其实一直都有在使用窗口，那么我们现在来针对窗口的各种类型做一个演示。 1.1 窗口简述 聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。window是一种可以把无限数据切割为有限数据块的手段。 1.2 窗口类型 tumbling window：滚动窗口 sliding w
Flink学习笔记-WindowsFunction（篇二）
yangxiaobo118的博客
07-28 4129
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
Flink 笔记
qq_40822132的博客
12-28 586
Apache Flink 概述 Flink是构建在Data Stream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。 第一代：MapReduce 2006年 批 磁盘 M->R 矢量 | 2014.9 Storm诞生 流 延迟低/吞吐小 第二代：Spark RDD 2014.2 批 内存 DAG （若干Stage） | 使用mic...
flink学习
weixin_38312502的博客
02-14 988
尚硅谷Flink入门到实战-学习笔记 尚硅谷2021最新Java版Flink 下面笔记来源（尚硅谷公开资料、网络博客、个人小结） 中间会把自己认为较重要的点做做标记（下划线、加粗等） 1. Flink的特点 事件驱动（Event-driven） 基于流处理 一切皆由流组成，离线数据是有界的流；实时数据是一个没有界限的流。（有界流、无界流） 分层API 越顶层越抽象，表达含义越简明，使用越方便 越底层越具体，表达能力越丰富，使用越灵活 1.1 Flink vs Spark Stream
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink-note笔记：flink-window模块中SlidingWindow解析
cobracanary的博客
06-13 171
flink-note笔记：flink-window模块中SlidingWindow解析
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
永远好奇，无限进步！
08-31 2646
上节研究了Flink的Standalone的部署模式并进行了测试。本节研究Flink的YARN模式部署，集群模式申请资源、提交任务。上面的脚本会向YARN申请3个Container，即便写的是2个，因为ApplicationMaster和JobManager有一个额外的容器，一旦将Flink部署到YARN集群中，就会显示JobManger的连接详细信息。如果不想让Flink YRAN客户端始终运行，那么也可以启动分离的YARN会话，被参数被称为-d或–detached。
flink---window
n2670820434的博客
09-02 709
DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/sql/queries/window-tvf/窗口的长度(大小) > 窗口的间隔 : 如每隔5s, 计算最近10s的数据 【滑动
大数据-114 Flink DataStreamAPI 程序输入源 自定义输入源 Rich并行源 RichParallelSourceFunction
永远好奇，无限进步！
09-02 3023
上节我们完成了FlinkDataStreamAPI的非并行源和并行源的介绍与开发，本节研究Flink的Rich并行源，Rich并行源会有更强大的能力。在 Apache Flink 中，RichSourceFunction 是一种增强的源函数（Source Function），它允许开发者在定义源操作时，能够访问 Flink 的生命周期方法、状态管理、配置访问等更多功能。
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
永远好奇，无限进步！
09-05 1181
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interval）不断地划分数据，并对每个窗口内的数据进行聚合计算。窗口长度固定，可以有重叠。场景：我们可以每30秒计算一次最近一分钟用户购买的商品数 基于事件驱动 会话窗口 由一系列事件组合一个指
Java基础（6）- Java代码笔记3
weixin_47062560的博客
08-30 3240
数据类型[][] 数组名 = new 数据类型[m][n]数据类型 数组名[][] = new 数据类型[m][n]数据类型[] 数组名[] = new 数据类型[m][n]m：代表二维数组长度n：代表二维数组中每个一维数组的长度。
JAVA基础：数据类型、命名规范
最新发布
weixin_53755148的博客
09-05 1140
变量类型就是用来指定变量中存储数据的类型。也称为数据类型。
flink -m localhost:8081 与--target
06-16
`flink -m localhost:8081` 是启动 Flink 集群时指定使用的 master 节点地址，表示将 Flink 作业提交到该节点上执行。而 `--target` 则是 Flink 作业提交命令 `flink run` 的参数，用于指定作业提交的目标 YARN 集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值