第二十六篇：Flink 中的聚合函数和累加器的设计和使用

最新推荐文章于 2023-05-11 20:16:20 发布
最新推荐文章于 2023-05-11 20:16:20 发布
阅读量727 收藏
点赞数
分类专栏： Flink高级进阶和企业级应用
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/119057083
版权
本文介绍了 Flink 中的窗口函数，包括 ReduceFunction、AggregateFunction 和 ProcessWindowFunction，以及它们在窗口聚合中的应用。此外，还详细讲解了 Flink 累加器的使用，用于获取全局指标值，例如计数器的实现和使用案例。通过这篇文章，读者能够理解 Flink 中窗口聚合的实现方式和累加器的用途。
摘要由CSDN通过智能技术生成

你好，欢迎来到第 26 课时，本课时主要讲解 Flink 中聚合函数和累加器的设计和使用。

我们在第 08 课时中提到了 Flink 所支持的窗口和时间类型，并且在第 25 课时中详细讲解了如何设置时间戳提取器和水印发射器。

实际的业务中，我们在使用窗口的过程中一定是基于窗口进行的聚合计算。例如，计算窗口内的 UV、PV 等，那么 Flink 支持哪些基于窗口的聚合函数？累加器又该如何实现呢？

Flink 支持的窗口函数

我们在定义完窗口以后，需要指定窗口上进行的计算。目前 Flink 支持的窗口函数包含 3 种：

  • ReduceFunction 增量聚合
  • AggregateFunction 增量聚合
  • ProcessWindowFunction 全量聚合

最后还有一种 FlodFunction，但是在 Flink 1.9 版本后已经废弃，推荐使用 AggregateFunction 代替。

下面我们详细讲解以上 3 种窗口聚合函数的定义和使用。

ReduceFunction

ReduceFunction 基于两个类型一致的输入进行增量聚合，我们可以自定义 ReduceFunction 来增量聚合窗口内的数据。

可以这样定义自己的 ReduceFunction，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
大数据处理框架：Flink：Flink窗口函数与时间语义.docx
09-02
大数据处理框架：Flink：Flink窗口函数与时间语义.docx
Flink窗口聚合案例(增量聚合、全量聚合)
影子
03-28 4831
上面我们time window和count window讨论了聚合，下面我们从另外一个角度对window进行分类，从聚合角度。 window的集合操作分为2种：一种是增量聚合，一种时候全量聚合，增量聚合是指窗口内每进入一条数据就计算一次，而全量聚合是指在窗口被处罚的时候才会对窗口内的所有数据进行一次聚合 1、增量聚合：窗口内每进入一条数据就计算一次 常见的增量聚合的函数有：reduce（reduceFunction）、aggregate（aggregateFunction）、sum（）、mi..
Flink自定义函数的常用方式
feizuiku0116的博客
01-13 579
一、实现Flink提供的接口 // 自定义函数 class MyMapFunction implements MapFunction<String, Integer>{ public Integer map(String value){ return Integer.parseInt(value); } }; 二、使用匿名类 // 可以将函数作为匿名类进行传递 data.map(new MapFunction<String, Integer>(){
Flink Accumulators累加器、Counters计数器的使用和实现自定义Accumulators、Counters
Bulut0907
11-13 1769
目录1. 自定义Accumulators 1. 自定义Accumulators 自定义的方式有两种，两种之间除了要求的数据类型不一样，其它都一样 Accumulator<V, R>: 其中V指add的数据的类型、R指结果的类型 SimpleAccumulator<T>: 其中T指add和结果的数据的类型 ...
java Flink（三十八）用户自定义Functions-累加器
qq_40771567的博客
07-23 351
自定义Functions官方介绍就是除了我们自定义实现Flink提供的各种算子外，还提供了累加器等。 实现比较简单，就是简单的上下文注册以及使用。 代码： import org.apache.flink.api.common.accumulators.IntCounter; import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.configuratio...
FLINKSQL自定义UDF函数3之自定义累加器
feiyangailing的博客
04-01 908
FLINKSQL自定义UDF函数3之自定义累加器 文章目录FLINKSQL自定义UDF函数3之自定义累加器前言一、自定义String List累加器创建累加器类创建AggregateFunction注意点二、自定义泛型累加器1.创建累加器创建AggregateFunction注意点总结 前言 这里记录自定义累加器得实现以及过程中得问题。 一、自定义String List累加器 创建累加器类 public class ListAccumulator implements Accumulator<Str
大数据技术原理及应用课实验8 ：Flink初级编程实践
01-16
在本实验"大数据技术原理及应用课实验8：Flink初级编程实践"中，主要目标是熟悉Flink编程基础和使用IntelliJ IDEA工具来构建Flink程序。实验环境包括Ubuntu 18.04或16.04操作系统，IntelliJ IDEA作为开发工具，以及...
michael-flink:Flink学习资料：Flink相关演示，源码分析样例和相关文档
03-23
《Flink学习之旅：深入...总结，"michael-flink"资源包为Flink初学者和进阶者提供了宝贵的实战素材，通过学习和实践，你可以全面掌握Flink的核心技术，并将其应用到实际的数据处理项目中，提升大数据处理的效率和质量。
KafkaStreamAgg:使用Flink和Redis对从Kafka读取的流执行实时聚合
04-27
KafkaStreamAgg 使用Flink和Redis对从Kafka读取的流执行实时聚合。 它当前在一个时间窗口（20s）内计算唯一性计数，并使用HLL（HyperLogLog）在多个时间间隔内发出近似的唯一性计数。 来源是Kafka主题，这些事件作为...
pulsar-flink：使用Apache Pulsar和Apache Flink进行弹性数据处理
01-30
Pulsar Flink连接器使用和实现弹性数据处理。 有关中文文档的详细信息，请参见。 先决条件 Java 8或更高版本 Flink 1.9.0或更高版本 Pulsar 2.4.0或更高版本 基本信息 本节介绍有关Pulsar Flink连接器的基本信息。 ...
大数据处理框架：Flink：Flink连接器与外部系统集成.docx
09-02
大数据处理框架：Flink：Flink连接器与外部系统集成.docx
大数据处理框架：Flink：Flink在电商推荐系统中的应用.docx
最新发布
09-02
大数据处理框架：Flink：Flink在电商推荐系统中的应用.docx
华为大数据认证：Flink流计算处理和批处理平台.pptx
09-24
华为大数据认证的Flink部分主要聚焦于理解Flink的核心原理、关键特性和在FusionInsight HD平台中的集成情况。Flink是一个强大的计算框架，它将批处理和流处理集成在一个统一的平台上，尤其在流处理领域表现出色，被...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
本篇将深入讲解如何利用 Flink 的 Checkpoint 机制从已保存的状态中恢复数据。 首先，我们需要理解什么是 Flink 的 Checkpoint。Checkpoint 是 Flink 在处理无界数据流过程中的一种状态保存策略。当任务执行到某个...
Flink流计算之聚合函数
踏雪无痕
08-07 4103
一.Reduce功能 ReduceFunction指定如何将输入中的两个元素组合在一起以产生相同类型的输出元素。Flink使用ReduceFunction来逐步聚合窗口的元素。 ReduceFunction可以定义像这样使用： val input: DataStream[(String, Long)] = ... input .keyBy(<key selector>) .window(<window assigner>) .reduce { (v1, v2
Flink自定义函数之聚合函数（UDAGG函数）
marui156的专栏
05-11 1316
聚合函数：将一个表的一个或多个行并且具有一个或多个属性聚合为标量值。聚合函数理解：假设一个关于饮料的表。表里面有三个字段，分别是 id、name、price，表里有 5 行数据。假设你需要找到所有饮料里最贵的饮料的价格，即执行一个 max() 聚合。你需要遍历所有 5 行数据，而结果就只有一个数值。
Flink学习笔记（七）：flink聚合函数
小白的专栏
08-10 4188
Flink的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数，可以用在多种场景的实时计算中，而且采用迭代方式，运行效率比较高。 一、接口 我们查看AggregateFunction接口可以看到它有三个参数 输入类型(IN) 累加器类型(ACC) 输出类型(OUT) @PublicEvolving public interface AggregateFunction<IN, ACC, OUT> extends Function, Serializable {
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）
liaomingwu的专栏
02-14 1543
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）
Flink Window Functions 增量聚合函数 ReduceFunction AggregateFunction 全量窗口函数 ProcessWindowFunction
05-14
Flink 提供了多种类型的窗口函数，包括增量聚合函数 ReduceFunction、全量聚合函数 AggregateFunction 和全量窗口函数 ProcessWindowFunction。 增量聚合函数 ReduceFunction 是一种在每个窗口内部对数据进行增量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值