FLINK 基于1.15.2的Java开发-使用AggregateFunction解决以天为单位诸如PV、UV等统计的实时计算

置顶 已于 2022-10-22 15:45:42 修改
阅读量2k 收藏 6
点赞数 4
分类专栏： flink 文章标签： flink uv aggregate flink aggregate flink 一天内
于 2022-10-21 10:42:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifetragedy/article/details/127440788
版权
本文介绍了如何使用Flink的AggregateFunction解决以天为单位的实时统计问题，如PV和UV。针对大数据量并发场景，强调了实时计算设计的重要性，提出"打散IO、化整为零、各个击破、预先准备"的策略。通过Flink的AggregateFunction和Redis实现每5秒刷新的统计，并详细解析了核心代码和业务逻辑。
摘要由CSDN通过智能技术生成

什么样的业务场景适合AggregateFunction

对于这一类的：

统计的数据的窗口为一天内（24小时），然后每X秒刷新一下相关数据的实时变化，每次变化的值是在之前的值上有一个累计，然后每天归0后，重新计算当天的数据。

诸如此类的需求还有：每天的UV、PV。

凡是这一类的业务场景、需求，全部适合使用Flink的AggregateFunction和ReduceFunction。我们今天就精细化的讲一下AggregateFunction的使用。这块是最常用的。

从需求出发如何设计这个架构

很多人一看，哦。。。是当天的数据。互联网应用里当天的数据就是千万级的，那么你要累计，那么我每5秒跑一个批吧，前端用VUE JS或者是小程序、APP做一个轮循就完了。

那好吧，你可以去试试看，我不阻止你，然后系统

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
lifetragedy的专栏
10-02 1970
flink连接kafka并把相应的通过kafka输入的内容sink到redis
FLINK 基于1.15.2的Java开发-实时流计算商品销售热榜
lifetragedy的专栏
10-02 1272
以下这个例子是全网段找不到的，连书上都不写的，它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子，它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。
Flink实时计算pv、uv的几种方法
weixin_48967543的博客
06-11 1075
本文首发于：Java大数据与数据仓库，Flink实时计算pv、uv的几种方法 实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用Flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求. 每秒钟要输出最新的统计结果； 程序永远跑着不会停,所以要定期清理内存里的过时数据； 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制； 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大..
Flink统计当日的UV、PV
anfuyi5792的博客
05-24 6841
　　Flink统计当日的UV、PV 　　测试环境： 　　　　flink 1.7.2 　　1、数据流程 　　　　 　　　　a.模拟数据生成，发送到kafka（json格式）　　 　　　　b.flink读取数据，count 　　　　c.输出数据到kafka（为了方便查看，输出了一份到控制台） 　　2、模拟数据生成器 　　　　数据格式如下 ：{"id" : 1, "...
Flink_网站总浏览量（PV）的统计
qq_36213530的博客
09-04 1856
1、PV(page view) 即页面浏览量；用户每1次对网站中的每个网页访问均被记录1次。用户对同一页面的多次访问，访问量累计。 2．UV(unique visitor) 指访问某个站点或点击某条新闻的不同IP地址的人数。 在同一天内，uv只记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数。独立IP访问者提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动。 衡量网站流量一个最简单的指标，就是网站的页面浏览量（Page View，PV）。 ...
Flink 实时统计历史 pv、uv
最新发布
东境物语
04-12 1458
通过Flink SQL实时统计 pv、uv
flink 对每天的数据进行汇总
m0_37687896的博客
03-10 2765
但是，这样的话，窗口将不会每来一条数据触发一次计算，而是要等到该窗口的 Watermark 推进到窗口结束时间后才会触发计算。MySQLSink为将数据写入到mysql，进行了更新和新增操作，根据生成的key，对数据先进行修改动作，若修改失败，则进行新增，保证一天内，聚合的数据的唯一性。使用flink 对kafka中每天的数据进行汇总，来一条数据统计一次结果，并将结果进行持久化。这将在每接收到一条数据时触发计算。事件时间（EventTime）语义，因此触发器应该使用。还有种触发条件可根据时间。
flink sql实时计算当天pv写入mysql
公众号[大数据技术与应用实战]，分享大数据实战案例
09-23 3062
今天我们主要来讲一个很简单但是很常见的需求，实时计算出网站当天的pv值，然后将结果实时更新到mysql数据库，以供前端查询显示。 接下来我们看看如何用flink sql来实现这个简单的功能。 首先我们还是使用datagen生成测试数据，随机生成一些用户id String sourceSql = "CREATE TABLE datagen (\n" + " userid int,\n" + " proctime as PROCTIME
Flink AggregateFunction
李孟的博客
11-22 3379
一.aggregate 函数 Flink的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数，由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口数据，所以效率执行比较高。 该函数会将给定的聚合函数应用于每个窗口和键，对每个元素调用聚合函数，以递增方式聚合值，并将每个键和窗口的状态保持在一个累加器。 @PublicEvolving public interface AggregateFunction<IN, ACC, OUT> extends Function
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
下载完成后，使用解压工具将其解压到你希望的目录，例如 `~/flink-1.15.2`。 3. **配置 Flink**：进入解压后的目录，找到 `conf` 文件夹，其中 `flink-conf.yaml` 是主要的配置文件。你可以根据需求调整诸如 ...
JAVA 统计网站的访问量PV，UV
06-18
Java+Spring+Mysql+C3P0 统计网站的访问量，比如PV（页面浏览量），UV（独立访客数），将统计结果保存到MYSQL数据库中。解压后有项目log和Mysql的建库脚本。
FLINK 基于1.15.2的Java开发-入门
lifetragedy的专栏
10-02 1751
flink java入门每一课。在这一系列中我们将使用最新的flink1.15.2版
Flink的AggregateFunction
chilimei8516的博客
07-02 3036
AggregateFunction 是什么 Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。 AggregateFunction定义 /** * The {...
Flink Window那些事——AggregateFunction窗口函数
min954584739的博客
01-18 1883
原文链接：Flink Window那些事——AggregateFunction窗口函数 - Ruthless - 博客园 AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。 输入类型是输入流中的元素类型，AggregateFunction有一个add方 法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累加器(createAccumulator方法)、将两个累加器合并到一个累加器(merg
使用flink进行一天的UV(dau)统计
weixin_42094092的博客
07-22 8213
使用flink1.9进行实时dau统计 难点:窗口时间长(24小时),dau统计不能增量统计,需全窗口去重 实现:实现ProcessAllWindowFunction使用mapstate配合和rocksDB做全窗口数据缓存,基于processtime每20s触发一次从0点到当前的去重计算,即为实时dau 优化点:使用evictor方法,移除掉已经缓存进mapstate的数据,使进入到process()方法的数据量减少,减少性能损耗 不足:由于全窗口计算,dau又无需keyby,导致计算部分始终一个并行度在运
Flink window Function - AggregateFunction
weixin_30613727的博客
06-05 273
package windowimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecu...
iceberg-flink 九：累积窗口按照天统计，数据不是从0：00-11：59 统计。
weixin_43446246的博客
11-29 1022
代码中设置按照天进行统计数据，但是出来的结果0：45仍然在统计昨天的数据。
Flink实现网站访问量PV和UV统计计算方法
在使用 Flink 进行网站访问量和独立访客数计算时，需要处理实时的数据流，并能够准确地统计出PV和UV的值。 知识点： 1. Flink 基础概念： Flink 是一个分布式处理引擎，适用于有状态的计算以及无状态的事件流处理...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TGITCIC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值