Spark core 计算连续登录天数、连续使用次数、连续xxx的案例实操

最新推荐文章于 2023-11-22 19:09:46 发布
最新推荐文章于 2023-11-22 19:09:46 发布
阅读量564 收藏 2
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38638777/article/details/116398647
版权
本文通过案例详细介绍了如何使用Spark Core处理数据，计算用户连续登录的天数和次数。首先对数据按用户分组并排序，接着计算连续天数，然后分组统计次数，从而找出最大连续登录记录。最后提供了实现这一过程的代码示例。
摘要由CSDN通过智能技术生成

1、给出以下数据，计算用户连续登录的天数，数据格式为：用户,登录日期

user001,2020-03-14
user002,2020-03-13
user001,2020-03-19
user001,2020-03-18
user002,2020-03-12
user001,2020-03-20
user002,2020-03-17
user001,2020-03-10
user002,2020-03-14
user001,2020-03-15
user002,2020-03-15

思路解析：

首先：由于需要计算用户的连续登录天数，先按照用户进行分组计算，得到如下的数据：

user001,2020-03-14
user001,2020-03-19
user001,2020-03-18
user001,2020-03-20
user001,2020-03-15
user001,2020-03-10
user002,2020-03-12
user002,2020-03-17
user002,2020-03-14
user002,2020-03-15
user002,2020-03-13

在对日期进行排序，按照小到大排序，得到如下数据：

user001,2020-03-10
user001,2020-03-14
user001,2020-03-15
user001,2020-03-18
user001,2020-03-19
user001,2020-03-20


user002,2020-03-12
user002,2020-03-13
user002,2020-03-14
user002,2020-03-15
user002,2020-03-17

进行连续天数的计算，由于已经排好序。在每一个分组里面的第一条数据-0 如图：

user001,
最低0.47元/天 解锁文章
Genebrother
关注
专栏目录
大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优
Big_data_implicit_
12-27 4679
目录 一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事
2021-02-26~27~28 大数据课程笔记 day37day38day39
qq_44745905的博客
02-28 3556
@R星校长 音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式 关系型数据库设计时，遵照一定的.
使用Spark实现统计连续登陆的三天及以上的用户
m0_48111425的博客
08-11 827
-- 这个问题可以扩展到很多相似的问题：连续几个月充值会员、连续天数有商品卖出、连续打滴滴、连续逾期。 数据如下: guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-02 guid01,2018-03-04 guid01,2018-03-05 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-02 guid02,2018-03-03 guid02,2018...
Spark——Spark/Hive SQL计算获取连续登陆N天及以上的用户
aof
03-19 1130
100 2021-03-01 1 0 1 100 2021-03-02 2 0 2 100 2021-03-03 3 0 3 100 2021-03-09 4 5 1 100 2021-03-10 5 5 2 100 2021-03-11 6 5 3 100 2021-03-12 7 5 4 100 2021-03-13 8 5 5 100 2021-03-14 9 5 6
spark求连续登陆天数
mrye的博客
08-10 353
数据： guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-02 guid01,2018-03-04 guid01,2018-03-05 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-02 guid02,2018-03-03 guid02,2018-03-06 代码： import java.text.SimpleDateFormat import jav
SparkSQL—最大连续登录天数、当前连续登录天数、最大连续未登录天数问题
helloxiaozhe的博客
04-26 2188
Hive SQL——最大连续登录天数、当前连续登录天数、最大连续未登录天数问题 1、数据准备 表字段：用户、新增日期、活跃日期 原数据表：user_active表 1.1、测试数据：比较date和timestamp类型 CREATE TABLE test_user_active ( name string, install_date timestamp, active_date timestamp ); insert overwrite table test_user_act.
跟我一起学Spark之——用户在线时长和登录次数统计
SunWuKong_Hadoop的博客
01-23 1554
package 用户在线时长和登录次数统计 /** * Created by zhoubh on 2016/6/28. */ import java.text.SimpleDateFormat import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.uti...
【进大厂必学】3W字180张图学习Linux基础总结
L的存在的博客
05-26 4422
就不多说这段时间干啥去了吧，期间和很多的同学聊了天，有的童鞋已经开始工作，聊了聊工作上的事儿。有的是今年即将毕业的童鞋，有着自己的小目标，有的想尝试互联网，所以现在基本上都快进行二轮的复习了，有的同学备战公务员，凭着年轻这股劲儿向往自己理想的生活状态，无论怎么样，长路漫漫，走一步，算一步，每一步都算数。 今天分享的这篇文章是 Linux 相关的基础知识，深一点的内容基本上没有，不过对于刚需小伙伴来说，也就够了，有时间的话，最好按照这些命令去试一试，敲一敲，这样记忆更加深刻。 老规矩，先看目录，文章比较长，建
大数据学习之路-Hive
weixin_43441789的博客
03-09 748
Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.
六、统计用户登录的次数
晴天的专栏
10-26 5530
主机 xuanyuan-soft.org.cn 对外为约 2500 名 Linux 爱好者无偿提供服务,现要求统计本月 1 日到当 前日期内,所有登录过该主机的用户名和登录的次数,且按登录次数从大到小排列,输出结果类似如下 格式: 12 tiger 11 zhangsan 8 lisi ...
sql spark 连续登录几次数据
最新发布
weixin_43752504的博客
11-22 80
2.用上课的日期减去第几次登录的，可知如果连续那么首次应该什么时间登录。那么连续的登录对应的首次登录时间应该相等。1.对每个学生每一天进行排序，知道这个学生历史上过几次。3.限制连续登录的次数。
SQL实用题型-用户最长连续登陆天数
theodorewy的博客
09-26 3032
SQL-查询用户最长连续登陆天数sql经典题型：求用户连续登陆的最长天数题目难点：如何求连续登陆的天数本题的思考： sql经典题型：求用户连续登陆的最长天数 已知：一个简单的用户登陆表： uid dat u1 2019/9/1 u1 2019/9/2 u1 2019/9/3 u1 2019/9/8 u1 2019/9/9 u2 2019/9/2 u2 201...
求用户连续购买天数以及与上次购买间隔天数
m0_49664495的博客
08-07 987
SQL-求某用户连续购买以及与上次购买间隔Step 1:对数据进行聚合/去重Step 2:对用户进行分组排序Step 3:日期与序号进行减法运算Step 4:获取开始连续的日期以及连续天数Step 5:使用Hive中lead函数 Step 1:对数据进行聚合/去重 根据需求不同,可能的名称也不尽相同,主要是理解思想. 第一步是对数据按天进行初步聚合(因为一个用户可能在某天有多次购买行为) 因为只是作为演示,所以只用单个用户进行 select member_id,order_date from TABLE
SparkSQL统计——连续3天或以上
JIE的博客 --- moon_coder
12-23 3317
前言：本章用到了开窗函数，不了解的可以去看看。 SQL开窗函数（窗口函数）详解_流水随清风的博客-CSDN博客_sql开窗函数 数据源下载： 链接: https://pan.baidu.com/s/1WMz8B-xJZjOoMmlaLurjZg 提取码: eetv 数据源展示： 案例实现要求：统计每月连续3天或以上的用户个数 思路讲解： 1.以当前时间为基准值，获取到前面两天的时间以及后面两天的时间 通过lag和lead获取，注意它们的默认值，以及over中的排序为升.
SPARK计算用户不同时段的消费金额
斧王，不能再斩杀了吗的博客
10-23 2070
计算用户不同时段的消费金额 import com.alibaba.fastjson.JSON import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.kafka01...
Spark清洗中遇到时间计算问题(天数运算)
JIE的博客 --- moon_coder
12-02 1220
先来了解一下这个日历类Calendar，是用来对时间的一些操作，具体可以查看这篇文章，十分详细。 ​​​​​​JAVA常见类（十二）Calendar类_ytasdfg的博客-CSDN博客_calendar​​​​​​ 我这里的需求是：将末尾的日期与上映天数做运算，得到一个新的值添加到当前日期的末尾。 1.根据时间的格式创建一个模板 var pattern = "yyyy-MM-dd" 2.将字符串日期转换为Date类型 val current:Date = new Simple.
MySQL连续登录天数统计
shyの个人笔记
01-28 3116
MySQL连续登录天数统计
pyspark.sql.functions详解
热门推荐
htbeker的博客
01-16 2万+
pyspark.sql.functions包含了很多内置函数。 1.pyspark.sql.functions.abs(col) 计算绝对值。 2.pyspark.sql.functions.acos(col) 计算给定值的反余弦值; 返回的角度在0到π的范围内。 3.pyspark.sql.functions.add_months(start, months) 返回start后mon...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值