flink-note笔记：flink中的窗口函数（window function）

最新推荐文章于 2024-09-23 21:26:25 发布
最新推荐文章于 2024-09-23 21:26:25 发布
阅读量214 收藏
点赞数 1
分类专栏： flink-note代码解析 文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cobracanary/article/details/125222975
版权
这篇博客详细介绍了Flink中的窗口函数，包括ReduceFunction、AggregateFunction和ProcessFunction。通过代码示例展示了如何使用这些函数进行窗口操作，如统计一小时内的用户登录量。同时提到了ProcessFunction的灵活性，允许获取更丰富的窗口信息。
摘要由CSDN通过智能技术生成

github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-window/src/main/java/com/wxwmd/window/windows/keyed/TumblingWindow.java和flink-window/src/main/java/com/wxwmd/window/windows/nonkeyed/TumblingWindow.java文件中。
项目github地址： github
项目gitee地址：gitee

flink1.15提供了以下几种窗口函数：

1. ReduceFunction<T>

此窗口函数比较简单，就是将整个窗口中的元素reduce为一个最终的结果，窗口中的元素类型和结果类型都是<T>，使用ReduceFunction<T>需要实现其reduce方法：

T reduce
了解本专栏 订阅专栏 解锁全文
canaryW
关注
专栏目录
订阅专栏
flink-note笔记：flink-window模块中TumblingWindow解析
cobracanary的博客
06-12 201
flink-note笔记：flink-window模块中windows/keyed/TumblingWindow.java运行结果解析
Flink之窗口函数WindowFunction
sinat_26781639的博客
03-30 317
前言 本文主要讲解下窗口函数：ReduceFunction，AggregateFunction，ProcessWindowFunction ReduceFunction 是个增量计算的算子，数据来一条算一条，要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~ 直接看代码:模拟订单，计算10s滚动窗口订单金额~~~使用起来比较简单的 package com.realtime.flink.function import com.realtime.flink.dto.OrderDto im
Flink窗口函数
cts618
06-19 378
2.1 窗口函数的分类2.2 增量聚合函数2.2.1 ReduceFunction2.2.1.1 业务需求2.2.1.2 源码①增量聚合函数 →窗口中的元素从第二个开始，每进入一个元素，就会执行一次；然后将迄今为止执行的结果与新的元素进行比较，获得最新的值。以此类推，直到窗口关闭，触发sink操作。 →适用场景：窗口中的元素体量大，否则，容易导致OOM的发生。 →特点：不需要记录窗口中所有的元素，只需要保留迄今为止增量计算的结果即可。②全窗口函数 → 待到窗口关闭后，窗口中所有的元素然后一起进行计算，触发s
Flink学习笔记（九）：flink窗口介绍
小白的专栏
08-17 591
在日常生活场景中，我们经常需要获取某一个事件段的数据，如上文所说，希望统计在10点-11点事件段数据的具体情况，那么如何进行处理呢？ 如有看过前文（Flink学习笔记（七）：flink聚合函数）的小伙伴们可能会记得有一个countWindow，这就是flink给我们提供的算子（窗口，window），使用窗口方法我们可以将数据流分成一个个窗口，然后对窗口内的数据进行处理。 我们先看下flink官网对窗口的描述 windows是处理无限流的核心。 Windows将流分成有限大小的“存储桶”，我们可以在其上应用计
Flink之窗口的使用(java)
fy1235的博客
11-24 1095
Flink之窗口的使用 前言 我们前面其实一直都有在使用窗口，那么我们现在来针对窗口的各种类型做一个演示。 1.1 窗口简述 聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。window是一种可以把无限数据切割为有限数据块的手段。 1.2 窗口类型 tumbling window：滚动窗口 sliding w
Flink窗口
yingzi的技术博客
04-16 8369
文章目录窗口的概念窗口的分类按照驱动类型分类（1）时间窗口（2）计数窗口（Count Window）按照窗口分配数据的规则分类（1）滚动窗口（Tumbling Windows）（2）滑动窗口（Sliding Windows）（3）会话窗口（Session Windows）（4）全局窗口（Global Windows）窗口API概览按键分区窗口（Keyed）和非按键分区（Non-Keyed）代码中窗口API的调用窗口分配器（Window Assigners）1、时间窗口（1）滚动处理时间窗口（2）滑动处理时间
Flink学习笔记-WindowsFunction（篇二）
yangxiaobo118的博客
07-28 4135
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
Flink 笔记
qq_40822132的博客
12-28 589
Apache Flink 概述 Flink是构建在Data Stream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。 第一代：MapReduce 2006年 批 磁盘 M->R 矢量 | 2014.9 Storm诞生 流 延迟低/吞吐小 第二代：Spark RDD 2014.2 批 内存 DAG （若干Stage） | 使用mic...
Flink｜《Flink 官方文档 - DataStream API - 算子 - 窗口》学习笔记
长行
01-12 1036
根据 watermark 测量的 event time 触发：根据 processing time 触发：在窗口中的元素超过预设的限制时触发：接收另一个 trigger 并将它转换成一个会清理数据的 trigger如果你需要实现自定义的 trigger，可以考虑继承抽象类 Trigger。
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink-note笔记：flink-window模块中SlidingWindow解析
cobracanary的博客
06-13 173
flink-note笔记：flink-window模块中SlidingWindow解析
MySQL tinyint(1)类型数据在经过flink cdc同步到doris后只有0/1问题定位与解决
HumorChen的博客
09-23 457
随着深入核实SQL、查询条件、表数据发现，同步后的数据表里的一个status字段全是0和1，而源表中有0 1 2 3 4等多个数值，起初以为是status为内置关键词或者内置列问题，去doris官方文档里没有查到这个，随即看了下这个字段的定义，是tinyint(1)，于是我查看了名字为非关键词的同类型列，也出现了这个问题，同步后全是0和1，因此可以确认，tinyint(1)这个类型的字段从mysql使用flink cdc同步到doris会有问题。同步后的表里这个字段的值只有0和1了。mysql 数据类型。
flink 批量压缩redis集群 sink
m0_65850671的博客
09-19 393
idea maven依赖。
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
FLGB
09-19 1274
Kubernetes 更适合现代化的云原生应用，尤其是当你已经在使用 K8s 进行容器编排时，Flink 在 Kubernetes 上可以很好地支持自动扩展、容器化部署和微服务架构。YARN 是经典的 Hadoop 生态系统的一部分，如果你已有 YARN 集群或需要与 Hadoop 集成，Flink 在 YARN 上运行是理想的选择。Mesos 更适合多租户、大规模集群的资源共享和调度，如果你的集群中需要协调多个框架和作业共享资源，Mesos 是一个不错的选择。
Flink加载维度数据
最新发布
qq_73339471的博客
09-23 216
在我们构建实时数仓时，不能光有事实数据，也需要加载维度数据来标明这些事实数据的具体含义。若只含有事实数据的话，就相当于只有数据本身在不断地变化，而并不知道这些数据具体表示什么意思。因此，我们应当加载维度数据进来。
Flink的反压机制：底层原理、产生原因、排查思路与解决方案
goTsHgo的博客
09-20 1331
在解决反压时，应该首先通过 Flink 的监控工具排查具体原因，然后根据实际情况采取针对性的解决方案，如增加并行度、优化算子逻辑、调整分区策略、优化外部系统等。通过合理的反压处理，可以显著提高 Flink 作业的稳定性和处理效率。在 keyBy 操作后，不同的并行子任务（subtask）可能收到的数据量不均衡，某些子任务的数据量远远多于其他任务，这会导致这些任务的处理速度显著下降，进而引发反压。反压的产生通常是因为数据流中的某些算子处理数据的速度低于其上游算子的输出速度，导致下游的缓冲区耗尽，引发反压。
通过 Flink 的火焰图定位反压
goTsHgo的博客
09-23 630
在 Apache Flink 中，Web UI 提供了丰富的监控工具来帮助用户分析和解决作业性能问题，其中火焰图（Flame Graph）是用于分析反压问题的一个强有力的工具。通过 Flink 的火焰图，你可以清晰地了解作业中各个算子的 CPU 时间分布，进而发现处理速度慢的地方。火焰图不仅能够帮助定位 CPU 的消耗，还能够通过 CPU 负载的分布，帮助你理解反压传播的路径。通过这些数据，你可以找到性能异常的算子或任务，并结合火焰图分析这些任务的 CPU 使用情况，确定性能瓶颈。
flink -m localhost:8081 与--target
06-16
`flink -m localhost:8081` 是启动 Flink 集群时指定使用的 master 节点地址，表示将 Flink 作业提交到该节点上执行。而 `--target` 则是 Flink 作业提交命令 `flink run` 的参数，用于指定作业提交的目标 YARN 集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值