spark通过获取kafka访问网站数据计算uv,并存到redis中

最新推荐文章于 2024-07-08 15:12:27 发布
最新推荐文章于 2024-07-08 15:12:27 发布
阅读量265 收藏
点赞数
文章标签： redis java spring spark kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxxxgo/article/details/107458065
版权

使用sparkstreaming计算uv并存入redis集群

首先数据是通过flume存入kafka的待分析数据(\t隔开):
在这里插入图片描述

需求就是记录不同ip访问次数,相同的ip不累加，简单来说就是记录不同用户的访问量uv
kafka和redis集群的配置
application.conf

在这里插入图片描述
util类
ConfUtil
在这里插入图片描述
RedisPoolUtil
在这里插入图片描述
scala代码
在这里插入图片描述
计算总uv
在这里插入图片描述
这里的重点是我计算uv使用的是HyperLogLog方案,而不是sql语句或者bitmap方案因为若要计算很多页面的UV,用bitmap还是比较费空间的,N个页面就得有N个500M.这时候HyperLogLog结构就是一个比较好的选择.HyperLogLog是一种基数统计算法,计算结果是近似值, 12 KB 内存就可以计算2^64 个不同元素的基数.但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

这是redis命令行查找
在这里插入图片描述

这里是java的mongodb查询uv

在这里插入图片描述

参考资料:
用Spark Streaming实时计算海量用户UV.
SparkSQL 实现UV & PV计算.
spark状态stream统计uv（updateStateByKey）.

可口 不 可乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SparkStreaming从Kafka中读取数据，设置检查点，处理数据后，并将结果存到Redis中，并实现执行优化
yhquser的博客
08-11 1115
实现思路 1.第一步获取StreamingContext对象，因为要使用检查点恢复数据，所以不能使用new StreamingContext的方法获取对象，要使用StreamingContext.getOrCreate建立对象 2.创建StreamingContext对象，使用了贷出模式 ——贷出函数的方式来创建 3.从Kafka的生产者端读取数据进行分析 4.读取数据的方式采用Dire...
spark-hyperloglog:使用Spark和HyperLogLog进行交互式受众分析
05-02
使用Spark和HyperLogLog进行交互式受众分析 博客文章的源代码： 使用Spark和HyperLogLog进行受众估算的示例项目 测验 默认情况下，测试在本地模式下运行Spark sbt test
HyperLogLog函数在Spark中的高级应用
微信搜：import_bigdata，大数据领域硬核原创作者
01-07 469
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计...
sparkStreaming+kafka+redis小项目实战
hyj
02-26 1068
一、项目说明 1、需求 实时更新每个用户走的总步数； 每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数； 这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中； 2、大数据组件 kafka:kafka_2.10-0.10.2.1 spark:spark-2.2.0-bin-hadoop2.7 redis:redis-3.0.0 3、...
Kafka+Spark Streaming+Redis Spark streaming实时读取kafka中数据完成wordcount并写入redis中
qq_42520986的博客
07-23 719
集群或虚拟机提前安装好spark、kafka和redis windows环境安装好scala 用idea创建maven工程 spark版本2.2.0 pom文件内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...
spark读取kafka后写入redis
最怕你一生碌碌无为 还安慰自己平凡可贵
05-18 3362
package com.prince.demo.test import com.typesafe.config.ConfigFactory import org.apache.kafka.common.serialization.StringDeserializer import org.apache.log4j.{Level, Logger} import org.apache.spark.s...
Spark读取Kafka数据存入redis
王冬的csdn
01-21 930
1. 构建一个scala项目 具体构建过程可参考：https://blog.csdn.net/weixin_44122028/article/details/103881508 2. 依赖配置如下 name := "SparkStreamingReadKafka" scalaVersion := "2.10.5" organization := "com.dd" //添加依赖 library...
sparkStreaming结合kafka取存数据
01-07
目录 一、说明 1、环境介绍 2、测试业务介绍 3、目的 二、理论基础 1、低效率的代码 2、这样提升效率和灵活性 (1)对KafkaProducer进行封装便于广播 ...3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
基于Spark streaming+Kafka+Redis/HBase的GBDT+LR推荐排序模型
12-28
1、资源内容：基于Spark streaming+Kafka+Redis/HBase的GBDT+LR推荐排序模型 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的...
spark通过kafka-appender指定日志输出到kafka引发的死锁问题
10-15
标题中的“spark通过kafka-appender指定日志输出到kafka引发的死锁问题”指出，在使用Apache Spark并配置Kafka-Appender（一个Log4j的插件）将Spark任务的日志输出到Kafka时，可能会遇到死锁的问题。这个问题可能...
Flink读取Kafka数据保存到Redis的解决方案教程
06-15
大数据发展史： ...针对以上知识我们通过flink读取kafka保存到redis方式快速让大家学习flink如何使用，以及我们如果搭建高性能的flink应用，这个课程属于快速实战篇。 Flink + kafka + redis 实时计算
kafka-connect-redis:f Kafka Connect Redis的源和接收器连接器
05-11
Kafka Connect Redis Source使用Redis发布/订阅订阅Redis通道/模式（包括），并将接收到的消息写入Kafka。 有关更多信息，请参见。 下沉 Kafka Connect Redis Sink使用Redis命令格式（ SET ， GEOADD等）使用Kafka...
Kafka-SparkStreaming-Redis
weixin_42386929的博客
08-16 679
Kafka-SparkStreaming-Redis 标签（空格分隔）： 实时流式处理数据 保存到Redis 准备工作 启动，namenode datanode 启动 zookeeper 启动kafka的Topic 启动Redis服务 模拟数据 创建常量工具类、随机数获取类 为了模拟数据 真正的模拟数据 以JSON个数 模拟数据...
Spark Streaming消费Kafka并手动使用Redis管理Kafka Offset
JayLaiSCUT的博客
04-27 6541
1 Spark Streaming读取Kafka的两种模式 Spark Streaming消费Kafka的数据有两种模式：Receiver和Direct模式，学习时候重点关注下Direct即可，因为在最新读取模方式中已经不支持Receiver。 1.1 Receiver模式 在Spark 1.3之前，Spark Streaming消费Kafka中的数据采用基于Kafka高级消费API实现的Rece...
sparkstreaming+kafka实时计算例子(二)结果写回redis
Harry Wong的博客
12-22 250
摘要sparkstreaming+kafka实时计算，将计算结果写回redis。 sparkstreaming+kafka实时计算案例，此处不是将结果写回kafka，而写到redis数据库中，完整代码如下，可验证测试(需要再写一个数据生产者，来不断产生数据)。 import java.util.Properties imp...
spark streaming 结合kafka 精确消费一次将结果保存到redis
xiaohu21的博客
12-06 1072
spark streaming 结合kafka 精确消费一次到redis 1. 环境 scala 2.12.12 jdk 1.8 idea 2020.1 maven 3.6.3 spark 3.0.1 kafka 0.10 hadoop 3.2.1 hbase 2.2.5 （另外一个明细数据幂等处理，保存到habse） redis 5.0 pom <!-- 定义了一些常量 --> <properties> <maven.compiler.source
Flume+kafka+spark streaming+Redis实时统计广告投放的pv,uv,click,cost
jane3von的专栏
07-25 1168
因为业务逻辑的修改，投放数据存入大数据集群中，因此，需要修改之前的业务逻辑，需要实时知道rtb投放的花费情况。 环境版本： spark: 2.11-2.4.0-cdh6.2.0 kafka: 2.1.0-cdh6.2.0 fluem: 1.9.0-cdh6.2.0 1. Flume配置 a1.sources = r1 a1.sinks = k1 a1.channels = c1 ...
HyperLoglog算法在Uv实时统计中的应用
weixin_30677475的博客
01-26 281
1 传统的Uv实时统计方法以及其缺点 给定时间段条件下，实时统计Uv就是统计不重复的访客数。 最简单的方法就是把用户唯一id存储到集合中，每次有新访客，就把向集合新增元素。 但是当数据量千万级别的时候，无论是内存中，还是redis等外部系统中，集合新增元素的效率都很低。 2 HyperLoglog 在不追求绝对准确的情况下，使用概率算法算是一个不错的解决方案。 概率算法不直接存储数据集合本身，通过...
redis-cli 连接Redis
最新发布
一个写了10年bug的程序员日常笔记。
07-08 474
redis-cli 是原生 Redis 自带的命令行工具，您可以在云主机或本地设备上通过 redis-cli 连接 Redis 数据库，进行数据管理。redis-cli 客户端的使用方法，请参考官方文档。
spark——消费kafka数据保存offset到redis
03-16
可以使用Spark Streaming消费Kafka数据，并将消费的offset保存到Redis中。具体步骤如下： 1. 创建Spark Streaming上下文，并设置Kafka参数。 2. 使用KafkaUtils.createDirectStream()方法创建一个DirectStream，该方法可以直接从Kafka中读取数据。 3. 在DirectStream上应用foreachRDD()方法，该方法可以将每个RDD中的数据进行处理。 4. 在foreachRDD()方法中，使用KafkaRDD的offsetRanges()方法获取当前RDD中的offset范围。 5. 将offset范围保存到Redis中，可以使用Jedis等Redis客户端库。 6. 处理完每个RDD后，使用KafkaRDD的commitOffsets()方法提交offset。 7. 启动Spark Streaming应用程序，开始消费Kafka数据并保存offset到Redis中。 需要注意的是，保存offset到Redis中需要考虑并发访问的问题，可以使用Redis的事务机制或者分布式锁来解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值