flink实时项目电商用户行为分析(5)---实时流量统计之UV统计之布隆过滤器实现

已于 2022-04-01 18:07:14 修改
阅读量731 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： flink电商用户行为分析 文章标签： 大数据
于 2021-07-29 18:56:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cjlion/article/details/119217601

1.知识点

  • scala输入输出样例类
  • keyBy并行度为1计算UV的技巧

map(data => ("uv", data.userId))..keyBy(_._1)

  • keyBy并行度>1计算UV的技巧

自定义MapFunction，随机自定义key+"uv"

Random.nextString(10) + "uv"
  • WindowedStream.trigger的使用

         trigger触发器，每来一条数据直接清空窗口，放到redis进行计算

  •   trigger返回WindowedStream,继续调用process(ProcessWindowFunction)
  • WindowedStream.process()的使用

windowStream调用接口

  • 布隆过滤器的实现

2.业务目标

滚动输出最近1小时内的PV

窗口：1小时

指标：点击量

3.流程心法

总流程：创建输入输出类--->执行环境--->transform转换--->各类窗口函数的调用

主Object:

  1.创建执行环境,设置时间语义，并行度等

  2.transform api  map转换为输入样例类,并设置watermark

  3.key 定义成常量"v",那么keyBy就分为同一组，如果并行则可以自定义mapFunction

  4.实现trigger

  5.实现processWindowFunction

4.模块详解

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink / Scala 实战 - 12.Aggregate 详解与 UV、PV 统计实战
BITDDD小栈
09-23 1131
Flink / Scala 使用 Aggregate 函数统计 PV、UV。
布隆过滤器在UV统计中的应用
不能如期而至的专栏
09-15 798
一.内存瓶颈 用Flink统计UV(Unique Visitor：网站独立访客数）这个指标时，需要根据UserId进行去重（同一个用户的多个操作，只会统计一次）。开始的思路是通过一个Set数据结构，保存一个窗口中所有的userID,因为Set数据结构本身具有去重功能，最后计算Set的Size即可得到统计指标。 但是当时并未考虑将一个计算窗口中的所有数据存入Set中内存会是一个瓶颈。试想：一个小时的窗口，发生的用户访问行为，在某些大型网站上，可能是千万，甚至上亿级别。 下面通过简单的定量分析说明： 假如Use
使用布隆过滤器的flink十亿级数据实时过滤实践一
weixin_42529756的博客
06-12 2912
百亿级数据实时过滤，布隆过滤器，scala实现，flink广播状态使用，BroadcastProcessFunction
布隆过滤器+CBF scala实现+代码详解
Braylon的博客
02-19 1078
文章目录简介BloomFilterBloomFilter的简单优化改进BloomFilterspark 的布隆过滤器scala实现BF、CBF 简介 布隆过滤器可以说是在大数据的处理算法方面经常使用的基础算法。 在这方面我看了很多的博客，确实看到了很多很详细的解释和总结，但是都是零散的，没有很全面的在原理和实现，以及实现代码的解析等方面做的很全面的。所以我将我自己整理的东西很完整的和大家分享。 其...
基于Flink及Redis布隆过滤器的大数据去重
Bill_Xiang的专栏
10-13 1336
package bill; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.st...
Flink_uv统计——使用布隆过滤器
weixin_43003792的博客
04-13 789
一：UV某一时段内（比如1小时）网站的独立访客数（Unique Visitor.） 一天内同一访客的多次访问只记录为一个访客。 一般通过用户的IP和cookie判断UV值的两种方式。埋点日志一般包含USERID package com.uv import java.util import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.scala._ import org.apac
基于 flink 的电商用户行为数据分析【5】| 基于埋点日志数据的网络流量统计
大数据梦想家
12-08 3160
前言         在《基于flink的电商用户行为数据分析【3】| 实时流量统计》这篇文章中，博主为大家介绍了基于服务器 log 的热门页面浏览量统计。 最后通过运行结果的验证，我们发现，从 web 服务器 log 中得到的 url，往往更多的是请求某个资源地址（/*.js、/*.css），如果要针对页面进行统计往往还需要进行过滤。而在实际电商应用中，相比每个单独页面的访问量，我们可能更加关心整个电商网站的网络流量。这个指标
电商用户行为实时分析系统（Flink1.10.1）
Mmj666的博客
05-28 2870
Flink项目，Flink初体验（Flink1.10.1版本哟~）
基于flink的电商用户行为数据分析【4】| 恶意登录监控
大数据梦想家
11-28 6037
基于flink的电商用户行为数据分析之【恶意登录监控】，另附超强 CEP 讲解，真的不点进来学习一下吗!!!
基于flink的电商用户行为数据分析【3】| 实时流量统计
大数据梦想家
11-27 3237
前言          在上一期内容中，菌哥已经为大家介绍了实时热门商品统计模块的功能开发的过程(????基于flink的电商用户行为数据分析【2】| 实时热门商品统计)。本期文章，我们要学习的是实时流量统计模块的开发过程。          模块创建和数据准备        
scala实现布隆过滤器代码
dreamBoat的博客
01-12 315
布隆过滤器代码
黑马点评项目-UV 统计
dingd1234的博客
05-12 1423
一、HyperLogLog 用法 UV：全称 Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人、1 天内同一个用户多次访问该网站，只记录 1 次。 PV：全称 Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录一次 PV，用户多次打开页面，则记录多次 PV。往往用来衡量网站的流量。 UV 统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到 Redis 中，数据量会非常恐怖。
Scala布隆过滤统计海量数据的UV值
qq_32278923的博客
12-21 197
flink海量数据的去重统计
网站独立访客数UV的统计--Flink实现
xiaoliuxxs
03-20 717
问题描述：统计每一小时的网站独立访客数UV（Unique Visitor）问题背景：这是尚硅谷大数据技术之电商用户行为数据分析的一道例题，属于海量数据去重问题。武晟然老师讲授的方法是，自定义布隆过滤器进行UV统计。受到老师的启发，并结合多篇网络文章，本文给出了 ①Flink自带的布隆过滤器 ②Redis整合布隆过滤器 两种方法，进行UV去重统计。数据集：UserBehavior.csv。
【UV统计】海量数据统计的前世今生
ERKELIU的博客
12-13 743
背景 在互联网公司中，每个项目都需要数据统计、分析，便于项目组利用详细数据研究项目的整体情况，进行下一步的调整。在数据统计中，UV统计是最常见的，也是最普遍的。有的场景要求实时性很高，有点场景要求准确性很高，有的场景比较在意计算过程中的内存。不同的场景使用不同的算法，下面我们从0到1简单介绍下UV统计领域。 什么是UV统计 假设我们的场景是商家这边上架一系列水果，然后需要统计出一共上架几种水果。具体如下所示： 针对这个问题，我们想到的最简单的方式就是利用STL中的set处理。 SET 上架一个水果的时
【Flink电商项目】系统架构
话数Science
02-29 519
flink去重（一）flink、flink-sql中常见的去重方案总结
qq_44665283的博客
07-25 4392
flink、flink-sql中常见的去重方案总结
重点解释一下这个事件驱动：使用 Redis 的发布-订阅功能，在数据变更时触发 Flink 更新布隆过滤器。
最新发布
03-24
<think>好的，用户的问题是关于如何利用Redis的发布-订阅机制实现事件驱动架构，以便在数据变更时通知Flink更新布隆过滤器。我需要结合用户提供的三个引用内容来给出解决方案。首先，用户提到的引用3中有一个自定义的布隆过滤器实现，可能涉及到如何将新的元素加入布隆过滤器。然后，引用1和引用2讨论了在Flink中使用Redis和布隆过滤器进行UV统计的场景，特别是触发器如何触发窗口处理，并将状态存储在Redis中。 用户的需求核心在于数据变更时触发Flink更新布隆过滤器。Redis的发布-订阅机制可以用来在数据变更时发布消息，而Flink需要订阅这些消息来更新本地的布隆过滤器。需要考虑以下几个步骤： 1. **数据变更时发布消息到Redis频道**：当有新的用户或数据需要加入布隆过滤器时，比如新用户访问导致需要去重，应用系统应在更新Redis中的布隆过滤器状态后，通过PUBLISH命令发送变更事件到指定频道。 2. **Flink订阅Redis频道**：Flink作业需要建立一个Redis的订阅客户端，监听特定的频道。当有消息发布时，触发相应的处理逻辑。不过，Flink本身没有内置的Redis Source，可能需要自定义SourceFunction或者使用RichAsyncFunction来连接到Redis并订阅频道。 3. **更新布隆过滤器状态**：接收到订阅的消息后，Flink作业需要解析消息内容，获取新增的数据（如用户ID或IP），并将其添加到当前的布隆过滤器中。这里需要考虑如何在Flink中维护和更新布隆过滤器的状态，可能需要使用状态后端（如ValueState）来保存布隆过滤器的位数组。 4. **结合窗口处理逻辑**：根据引用1，Flink在处理窗口时会使用触发器来触发计算，并将结果存储到Redis。在更新布隆过滤器后，可能需要重新处理窗口中的数据或者调整后续的数据处理逻辑，确保新的布隆过滤器状态生效。 需要注意的问题包括：如何保证消息的可靠传输，避免数据丢失；如何处理并发情况下的布隆过滤器更新；以及如何高效地在Flink中维护和序列化布隆过滤器的状态。此外，引用3中的布隆过滤器实现类需要被序列化并在Flink算子中使用，可能需要调整其结构以适应分布式环境。 最后，用户可能需要具体的代码示例，比如如何实现Redis的订阅和消息处理，以及如何与Flink的状态管理结合。需要确保代码示例符合用户提供的引用中的结构，比如使用Redis连接和布隆过滤器的hash方法。</think>### 如何通过Redis发布订阅实现Flink布隆过滤器动态更新？ #### 一、实现原理 通过Redis的发布订阅机制，在数据变更时触发事件，将变更内容推送至Flink任务，动态更新布隆过滤器的位数组状态，实现**事件驱动架构**下的实时去重[^2]。核心流程如下： 1. **数据变更发布端** 当外部系统（如用户注册服务）产生新数据时，将变更内容（如新增用户ID）通过`PUBLISH`命令发送至Redis频道`bloom_filter_updates`。 ```bash PUBLISH bloom_filter_updates "new_user_id:12345" ``` 2. **Flink订阅消费端** Flink使用`RedisSource`订阅该频道，监听变更事件。通过`RichAsyncFunction`异步处理消息，避免阻塞主线程[^1]。 3. **动态更新布隆过滤器** 接收到消息后，解析出新增数据，调用布隆过滤器的`hash`方法计算位偏移量，更新本地状态和Redis中的位数组副本[^3]。 #### 二、关键代码实现 ```java // Flink订阅Redis频道的SourceFunction public class RedisPubSubSource extends RichSourceFunction<String> { private JedisPubSub jedisPubSub; private volatile boolean isRunning = true; @Override public void run(SourceContext<String> ctx) { jedisPubSub = new JedisPubSub() { @Override public void onMessage(String channel, String message) { ctx.collect(message); // 将消息传递至下游 } }; new Jedis("localhost").subscribe(jedisPubSub, "bloom_filter_updates"); } @Override public void cancel() { jedisPubSub.unsubscribe(); isRunning = false; } } // 更新布隆过滤器的ProcessFunction public class BloomFilterUpdater extends ProcessFunction<String, Void> { private transient ValueState<MyBloom> bloomState; @Override public void open(Configuration parameters) { ValueStateDescriptor<MyBloom> descriptor = new ValueStateDescriptor<>("bloom", MyBloom.class); bloomState = getRuntimeContext().getState(descriptor); } @Override public void processElement(String message, Context ctx, Collector<Void> out) { MyBloom bloom = bloomState.value(); if (bloom == null) bloom = new MyBloom(1L << 27); String newData = message.split(":")[1]; // 计算哈希并更新位数组（需实现MyBloom.add()方法） bloom.add(newData); bloomState.update(bloom); // 同步更新Redis中的布隆过滤器（参考引用3的位操作） try (Jedis jedis = new Jedis("localhost")) { jedis.setbit("uv_bloom", bloom.hash(newData, 31), true); } } } ``` #### 三、注意事项 1. **状态一致性** 需使用`Checkpoint`机制保证Flink本地状态与Redis存储的位数组一致，防止任务失败时数据丢失。 2. **性能优化** - 使用`Jedis管道`批量更新Redis位操作 - 设置布隆过滤器状态为`TTLState`，定期清理过期数据 3. **动态扩容** 若布隆过滤器容量不足，需根据引用3中的`cap`参数动态扩容，并广播新容量至所有Flink任务节点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值