使用sparkstreaming计算uv并存入redis集群

最新推荐文章于 2022-09-27 14:50:17 发布
最新推荐文章于 2022-09-27 14:50:17 发布
阅读量490 收藏 1
点赞数
分类专栏： scala spark集群 HyperLogLog 文章标签： redis spark 大数据 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43761767/article/details/107395520
版权
使用sparkstreaming计算uv并存入redis集群

首先这是我存入kafka的待分析数据(\t隔开):

192.168.101.2	-	-	200	3717	97	1594541195000	POST	/ibikeSeries/findNearAll	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.2	-	-	200	3717	117	1594541196000	POST	/ibikeSeries/findNearAll	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.2	-	-	200	3161	96	1594541386000	POST	/ibikeSeries/findNearAll	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.222	-	-	200	19	127	1594541387000	POST	/ibikeSeries/findNearAll	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.22	-	-	200	10	293	1594541399000	POST	/ibikeSeries/recharge	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.21	-	-	200	10	116	1594541400000	POST	/ibikeSeries/log/addPayLog	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X (iPhone)	Mobile Safari
192.168.101.32	-	-	200	10	312	1594541401000	POST	/ibikeSeries/log/savelog	HTTP/1.1	https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html	Mac OS X
最低0.47元/天 解锁文章
不要沉默我
关注
专栏目录
实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
大数据技术派
07-28 1万+
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv...
Redis——Redis性能优化与技术选型原理
庄小焱
03-15 759
redis的拥有众多优点，但是的技术有利有弊，所以只有在redis最擅长的场景中才能让redis的作用发挥到最大的作用。同样的redis一样存在很多优化和改进的点。
Spark Streaming实战对论坛网站动态行为pv，uv，注册人数，跳出率的多维度分析，实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
qq_36864672的博客
11-04 1100
论坛数据运行代码自动生成，该生成的数据会作为Producer的方式发送给Kafka，然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息，进而进行多维度的在线分析 数据格式如下： date：日期，格式为yyyy-MM-dd timestamp：时间戳 userID:用户ID pageID:页面ID chanelID：板块的ID action：点击和注册 ...
spark-redis：Spark的连接器，允许从Redis集群读写
02-03
Spark-Redis 一个使用在读写数据的库。 Spark-Redis可从Spark作为RDD访问Redis的所有数据结构-字符串，哈希，列表，集合和排序集合。 它还支持使用DataFrames和Spark SQL语法进行读写。 该库可以与Redis独立数据库以及集群数据库一起使用。 与Redis群集一起使用时，Spark-Redis会意识到其分区方案，并会根据重新分片和节点故障事件进行调整。 Spark-Redis还支持Spark流（DStream）和结构化流。 版本兼容性和分支 该库具有多个分支，每个分支对应于一个受支持的不同Spark版本。 例如，“ branch-2.3”可与
SparkStreaming聚合类操作写入Redis数据库
weixin_43648241的博客
08-29 753
相较于写入MySQL中，
jedis(SparkStreaming)
幼稚的小龙龙
11-22 226
synchronized https://www.cnblogs.com/tengfly/p/9307373.html https://blog.csdn.net/G3187576034/article/details/100933068 synchronized (JedisPoolUtil.class) {} 大概就是调用这个类的意思 2.HINCRBY 用法 Redis HINCRBY命令...
Spark高并发写Redis方案
ccnuacmhdu的博客
09-27 1294
Spark高并发写Redis解决方案
spark streaming消费kafka数据到redis redis连接池放在外面获取不到
qq_42937659的博客
01-14 252
spark streaming消费kafka数据到redis：redis连接池放在外面获取不到 问题：将redis放到foreach或者map中，遇到问题 redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool 解决方案：使用广播变量，将redis连接池广播到executor端。 streamingContext.sparkContext.broadcast(RedisUt
Redis
生命不息，编程不止的博客
07-14 1543
Redis
pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)
weixin_39793638的博客
02-05 417
蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume 数据传输的基本单元。Source： 用来接收Event，并将Event批...
使用spark-redis组件访问云数据库Redis
yang灬仔
09-08 803
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。 创建服务 我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群安装的Spark版本是2.4.3，我们需要使用对应的Spark-Redis 2.4版本，该组件可以支持Redis 2.9.0以上版本。 ...
实时计算测试版 flume+kafka+sparkstreaming+redis
weixin_43466575的博客
05-13 441
** 一、项目环境准备 ** 1、项目介绍： flume采集日志信息传输到kafka，spark streaming作为kafka的消费者对数据做处理，并将处理结果写入redis。因为是测试用所以是单节点的，均在一台服务器上。 2、项目使用软件版本 （1）服务器各软件版本 名称 版本号 jdk 1.8 zookeeper 3.4.8 flume 1.8.0 kafka ...
Spark Streaming消费Kafka Direct方式数据零丢失实现之redis
YZY_001的博客
12-23 512
一、概述 上次写这篇文章文章的时候，Spark还是1.x，kafka还是0.8x版本，转眼间spark到了2.x，kafka也到了2.x，存储offset的方式也发生了改变，笔者根据上篇文章和网上文章，将offset存储到Redis，既保证了并发也保证了数据不丢失，经过测试，有效。 二、使用场景 Spark Streaming实时消费kafka数据的时候，程序停止或者Kafka节点挂掉会导致数据丢...
Spark Streaming写数据到Redis
weixin_34372728的博客
10-06 1052
Spark Streaming写数据到Redis参考2篇文章：1、Kafka+Spark Streaming+Redis实时系统实践https://www.iteblog.com/archives/1378 2、spark-stream 访问 Redishttp://www.tuicool.com/articles/n6BRzi3 转载于:https://blog...
Spark Streamin 通过JedisPool写入到Redis中
hbbg123456789的专栏
12-23 3997
找了好久，才偶然看到这样一篇救命的文章 http://qnalist.com/questions/5001816/which-is-the-best-way-to-get-a-connection-to-an-external-database-per-task-in-spark-streaming 我们可以不使用 ssc.sparkContext.broadcast(pool)
基于Spark Streaming统计网站的UV
m0_37692438的博客
08-17 1300
Bitmap方案 所谓的Bitmap就是用一个bit位来标记某个元素对应的Value，比如ID为2的用户，就用第2个bit位来表示,然后用该位的值来表示该用户是否访问过。如果要计算UV，那就只要数一下有多少个1就可以了。该方案有一个限制就是用户的ID只能为数值型的，不能基于非数值型进行统计，如UUID。Redis提供了相关命令可以实现bitmap，如下： // 插入 setbit key o...
redis-scala链接redis集群
weixin_34413802的博客
09-15 1040
代码:  package com.wenbronk.sparkstreaming.scala.commons import java.time.Duration import io.lettuce.core.RedisURI import io.lettuce.core.cluster.api.StatefulRedisClusterConnection import io.lettuce....
sparkstreaming聚合类操作写入redis数据库
最新发布
03-16
Spark Streaming可以通过DStream的reduceByKey、updateStateByKey、window等聚合类操作对数据进行聚合，然后将结果写入Redis数据库。 具体步骤如下： 1. 创建Redis连接池 ```scala import redis.clients.jedis.{...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不要沉默我

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值