Flink Aggregate算子求和、计数案例

最新推荐文章于 2023-11-12 11:43:11 发布
最新推荐文章于 2023-11-12 11:43:11 发布
阅读量1.6k 收藏 1
点赞数
文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43820544/article/details/120846613
版权

开始前唠嗑

        小白学习又碰到问题了。用flink做一个实时处理项目，需要根据key把商品销售量和销售额求出来。之前学的aggregate只会用来计数，改一改可以求和，但是又不能够2个同时进行，也不可能分开成2个aggregate算子，这就涉及到知识盲区了。上网查了很久，还是没有什么头绪尝试了很多方法，机缘巧合下发现自定义的accumulator居然有奇用！

Aggregate算子创建自定义accumulator同时实现求和、计数功能

        网上查到的accumulator案例基本都是只能记录一个数据的，如下：

        那我们要记录2个数据怎么做呢，可以把accumulator的类型改成Tuple2<>类（3个同理）,然后根据你的业务需求，修改一下add方法中的代码即可。：

最低0.47元/天 解锁文章
整多两瓶咖啡不就行
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
FLINK 基于1.15.2的Java开发-使用AggregateFunction解决以天为单位诸如PV、UV等统计的实时计算
lifetragedy的专栏
10-21 1943
本篇以一个实际生产需求讲透如何使用Flink 1.15.2的AggregateFunction来实现“实时统计一天内数据”、“对于天为单位来作实时累加统计”，诸如：PV、UV实时变化一类的需求。由于目前网上大多例子都是Hello Word级别或者有的代码是早于1.10版的，这些都已经被deprecate掉了。因此鉴目前市面上完全基于Flink 1.15.2版并能结合实际生产级别需求的方案几乎全无。我这个系列也算是对Flink中文方面资料的一个补足。
Flink aggregate 方法解析
百看不如一RUN
03-01 3783
在Flink计算中，常见的一些操作是map或者flatmap一些数据之后keyby 开窗口进行计算。那么在这些计算当中有哪些算子呢？ 其中我分为两类算子。 增量聚合 有reduce 和aggregate算子，全量聚合 有apply和process。那么今天我们就主要讲解一下常用的增量聚合算子aggregate算子。 aggregate方法签名的三个类型 <数据源类型，累加器类型，输出类型> WindowFunction 方法签名的四个类型为 <IN, OUT, KEY, W extend
Flink窗口计算
weixin_53209289的博客
07-27 223
DataStream result = input .keyBy(0) // 根据键值进行分组 .timeWindow(Time.minutes(1)) // 定义1分钟的时间窗口 .sum(1);首先根据键值进行分组（keyBy），然后定义一个1分钟的时间窗口（timeWindow），最后对窗口内的数据进行求和（sum）。注意，Flink还支持更复杂的窗口计算，如会话窗口（Session Windows）和全局窗口（Global Windows）。
flink 对每天的数据进行汇总
m0_37687896的博客
03-10 2449
但是，这样的话，窗口将不会每来一条数据触发一次计算，而是要等到该窗口的 Watermark 推进到窗口结束时间后才会触发计算。MySQLSink为将数据写入到mysql，进行了更新和新增操作，根据生成的key，对数据先进行修改动作，若修改失败，则进行新增，保证一天内，聚合的数据的唯一性。使用flink 对kafka中每天的数据进行汇总，来一条数据统计一次结果，并将结果进行持久化。这将在每接收到一条数据时触发计算。事件时间（EventTime）语义，因此触发器应该使用。还有种触发条件可根据时间。
Flink 系例 之 Aggregate
jilo88的博客
03-14 5033
Aggregate算子：提供基于事件窗口进行增量计算的函数。（对输入窗口每个数据流元素递增聚合计算，并将窗口状态与窗口内元素保持在累加器中） 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 Aggregate.java import com.flink.examples.DataSource; import org.apache.flink.api.common.accu..
Flink 自定义算子 读取MySQL (scala源代码)
06-29
Flink 自定义算子 读取MySQL (scala源代码)
Flink流处理之迭代案例
01-27
当前Flink将迭代的重心集中在批处理上，之前我们谈及了批量迭代和增量迭代主要是针对批处理（DataSet）API而言的，并且Flink为批处理中的迭代提供了针对性的优化。但是对于流处理（DataStream），Flink同样提供了对...
Flink State体系剖析以及案例实践
最新发布
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
最全面的flink入门编程案例
09-18
本文的非常详细的介绍了 flink、如何进行大数据开发的，包含flink读取kafka、文本读取，hdfs
flink学习教程，flink学习案例
05-15
flink学习教程，flink学习案例
flink窗口聚合函数之aggregateFuction学习
cclovezbf的博客
09-23 1051
因为是分布式计算，累加器在多台机器++，然后最后会聚合一次。或者我们需要的累加值，其实这里和spark的累加器好像是一个意思。所以还是用个tuple，上面也说了uv用set ，pv用int 所以 tuple注意来一个event 就要累加一次，我们既要存uv的信息也要存pv的信息。out 用个tuple。案例-同时计算uv 和pv为, uv是用户访问量，pv是页面点击量。每来一条记录 数据+1 所以用个int和long就行。注意我在代码里打印了merge，但是这里为什么没有输出呢？
Flink的Aggregate算子的用法
weixin_46266718的博客
11-05 4454
窗口聚合函数 如果定义了 WindowAssigner之后，下一步就可以定义窗口内数据的计算逻辑，这也就是 Window Function的定义。 Flink中提供了四种类型的 Window Function， 分别为ReduceFunction、AggregateFunction以及 ProcessWindowFunction,（sum和 max)等。 前三种类型的 Window Fucntion 按照计算原理的不同可以分为两大类： 一类是增量聚合函数：对应有 ReduceFunct...
Flink的常用算子以及实例（详解）
weixin_51194902的博客
04-23 3765
1. map 特性：接收一个数据，经过处理之后，就返回一个数据 1.1. 源码分析 我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型T表示传入的数据类型，R表示经过处理之后输出的数据类型 我们继续往下点，看看MapFunction<T,R>的源码 这是一个接口，那么在代码中，我们就需要实现这个接口 1.2. 案例 那么我们现在要实现一个功能，就是从给一个文件中读取数据，返回每一行的字符串长度。 我们要读取的文件内容如下 代码贴在这
FlinkSQL聚合函数（Aggregate Function）详解
猫猫爱吃小鱼粮
11-12 1388
FlinkSQL聚合函数（Aggregate Function）详解
Flink 系例 之 Max
jilo88的博客
03-14 2130
max聚合：获取一组数据流中最大的值 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 Max.java import com.flink.examples.DataSource; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.type..
flink读取不到文件_flink学习(1)读取文件并求和
weixin_32696821的博客
01-17 289
今天尝试了flink读取文件的测试程序编写，代码比较简单，途中遇到了一个问题，自定义封装类型的时候编译抛出如下异常：Error:(10, 20) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[whTest.readFi...
flink中窗口函数(二)函数合用
qq_44665283的博客
03-29 1261
(4) ProcessWindowFunction with Incremental Aggregation(与增量聚合结合) 可将ProcessWindowFunction与增量聚合函数ReduceFunction、AggregateFunction结合。 元素到达窗口时增量聚合，当窗口关闭时对增量聚合的结果用ProcessWindowFunction再进行全量聚合。 既能够增量聚合，也能够访问窗口的元数据信息(如开始结束时间、状态等)。 DataStream<SensorReading
Flink_aggregate_process_state 案例
Lpf的博客
08-25 1469
先说下模拟场景吧，统计日志数据中每分钟的IP访问量，取出访问量最大的五个值，每五秒更新一次 解决思路： 1、将日志中的时间转换为时间戳，作为EventTime 2、所以调用assignTimestampsAndWatermarks将排序EventTime，并设置延迟watermark为60S 3、构建滑动窗口 4、自定义预聚合函数aggregate将数据转换为UrlViewCount格式 5、自定...
利用Flink实现市场营销商业指标统计分析
mischen520的博客
09-02 230
随着智能手机的普及，在如今的电商网站中已经有越来越多的用户来自移动端，相比起传统浏览器的登录方式，手机APP成为了更多用户访问电商网站的首选。对于电商企业来说，一般会通过各种不同的渠道对自己的APP进行市场推广，而这些渠道的统计数据（比如，不同网站上广告链接的点击量、APP下载量）就成了市场营销的重要商业指标。 下面示例：APP市场推广统计 - 分渠道 封装数据的JavaBean类 package com.mischen.it.entity; import lombok.AllArgsConstructo
flink增加算子
06-02
3. 在 Flink 应用程序中使用算子，例如： ```java DataStream<String> input = ...; DataStream<Integer> output = input.map(new MyFunction()); ``` 4. 在算子中可以使用 Flink 的上下文对象，例如： ```java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值