Spark用户留存分析：计算用户的次日留存率(次周留存率同理)

最新推荐文章于 2023-03-21 17:19:32 发布
VIP文章 最新推荐文章于 2023-03-21 17:19:32 发布
阅读量1.3k 收藏
点赞数
分类专栏： java hadoop 文章标签： spark 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46620354/article/details/121981133
版权

日志数据，下面是一行日志信息，已经经过数据清洗写入到

full_access_logs表中

2018-09-04T20:27:31+08:00   http://datacenter.bdqn.cn/logs/user?actionBegin=1536150451617&actionClient=Mozilla%2F5.0+%28Windows+NT+6.1%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F63.0.3239.132+Safari%2F537.36&actionEnd=1536150451705&actionName=viewQuestionAnalysis&actionTest=0&actionType=3&actionValue=272878&clientType=001_bdqn&examType=001&ifEquipment=web&questionId=32415&skillIdCount=0&userSID=EDEC6A9CF8220BE663A22BDD13E428E7.exam-tomcat-node3.exam-tomcat-node3&userUID=272878&userUIP=117.152.82.106  GET    200    192.168.168.63 -  -  Apache-HttpClient/4.1.2 (java 1.5)

 

package zk.bn.etlpractice

import java.text.SimpleDateFormat
import java.util.Properties

import org.apache
最低0.47元/天 解锁文章
大数据汪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 计算 换手率_Python、pandas技巧系列】极简方法将日线数据转为周线、月线或其他周期...
weixin_39622760的博客
12-05 1978
引言:本系列帖子“量化小讲堂”，通过实际案例教初学者使用python、pandas进行金融数据处理，希望能对大家有帮助。想要快速、系统的学习量化知识，可以参与我与论坛合作开设的《python量化投资入门》视频课程：http://www.peixun.net/view/1028.html，我会亲自授课，随问随答。参与课程还可以免费加入我的小密圈，我每天会在圈中分享量化的所见所思，圈子介绍：http:...
Spark+Hbase 亿级流量分析实战（ 留存计算）
SmallCatBaby的博客
03-28 468
这篇已经是本系列文章的第五篇了，简书/小红书/CSDN 还不快来感谢大猪，上一篇大猪已经介绍 PV/UV 的实现方式以及程序的计算逻辑，本篇大猪继续为小伙伴介绍 留存，看在Spark+Hbase 的架构中到底是怎么实现这种指标的。 大猪的习惯就是能上图就尽量不~~~，好的图是会说话的，大猪也在努力实现中。 详细分析过程 大猪25通过某篇...
Spark大型项目实战：电商用户行为分析大数据平台开发实战
07-12
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程介绍： 讲解一个真实的、复杂的大型企业级大数据项目，是Spark的大型项目实战课程。 通过本套课程的学习，可以积累大量Spark项目经验，迈入Spark高级开发行列。 课程特色： 1、项目中全面覆盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架几乎全部的初级和高级的技术点和知识点， 让学员学以致用，通过一套课程，即掌握如何将Spark所有的技术点和知识点应用在真实的项目中，来实现业务需求！ 2、项目中的4个功能横块，全郃是实际企业项目中提取出来的，并进行技术整合和改良过的功能模块.全都是企业级的复杂和真实的需求，业务模块非常之复杂，绝对不是市面上的Dem级别的大数据项目能够想比拟的，学习过后，真正帮助学员增加实际 企业级项目的实战经验。 3、项目中通过实际的功能模块和业务场景，以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的SparK作业的经验积累，贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验、高端的全方位数据倾斜处理和解决方案.真正帮助学员掌握高精尖的Spark技术！ 4、项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节，真实还原企业级大数据项目开发场景。 模块简介： 1、用户访问session分析,该模块主要是对用户访问session进行统计分析.包括session的聚合指标计算、 按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session.该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标.从而对公司的产品设计以及业务发展战略做出调整.主要使用Spark Core实现. 2、页面单跳转化率统计,该模块主要是计算关键页面之间的单步跳转转化率，涉及到页面切片算法以及页面流匹配算法.该模块可以让产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率.从而对网页布局，进行更好的优化设计。主要使用Spark Core实现. 3、热门商品离线统计,该模块主要实现每天统计出各个区域的top3热门商品.然后使用Oozie进行离线统计任务的定时调度，使用Zeppeline进行数据可视化的报表展示.该模块可以让企业管理层看到公司售卖的 商品的整体情况，从而对公司的商品相关的战略进行调螫.主要使用Spark SQL实现。 4、广告流量实时统计.该模块负责实时统计公司的广告流量.包括广告展现流量和广告点击流量，实现动态黑名单机制以及黑名单过滤,实现滑动窗口内的各城市的广告展现流立和广告点击流直的统计，实现 每个区域诲个广告的点击流置实时统计，实现每个区域top3点击量的广告的统计,主要使用Spark Streaming实现.
基于spark的电商用户行为分析系统源码+项目说明.zip
12-24
基于spark的电商用户行为分析系统源码+项目说明.zip 【环境】 spark 2.4.4 scala 2.11.8 hive 3.1.2 mysql 5.7.28 kafka_2.12-2.3.0 jdk 1.8.0_192 hadoop 2.9.2 zookeeper-3.5.5 Ubuntu 18.04 Windows10 Commons包：公共模块包 conf：配置工具类，获取commerce.properties文件中的所有配置信息， 使用户可以通过对象的方式访问commerce.properties中的所有配置 constant：常量接口，包括项目中所需要使用的所有常量 model： Spark SQL样例类，包括Spark SQL中的用户访问动作表、 用户信息表、产品表的样例类 pool：MySQL连接池，通过自定义MySQL连接池，实现对MySQL数据库 的操作 utils：工具类，提供了日期时间工具类、数字格式工具类、参数工具类、字符串工具类、校验工具类等工具类， 里面的类有: DateUtils：时间工具类，负责时间的格式化、判断时间先后、计算时间差值、获取指定日
SparkShuffle过程分析：Reduce阶段处理流程
02-25
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章SparkShuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个MapStatus对象，下面是ShuffleMapTask执行后返回结果的相关代码片段：如果ShuffleMapTask执行过程没有发生异常，则最后执行的调用为：这里返回了一个MapStatus类型的对象，MapStatus的定义如下所示：其中包含了运行ShuffleMapTask所在的BlockManager的地址，以及后续Re
基于Spark的电商用户行为分析大数据平台项目源码+数据集.rar
最新发布
03-10
1.基于Spark开发的平台 2.需要有spark基础 3.有很多高级知识和设计模式 4.电商用户行为分析大数据平台（项目名称） 5.访问行为，购物行为，广告点击行为，对这些行为进行分析，使用大数据技术来帮助公司提升业绩。 6.主要的功能模块有用户session分析，页面单跳转化率统计，热门商品离线统计，广告流量实时统计等4个业务模块。 7.所使用的知识点是spark core，spark SQL，spark streaming等三个技术框架。 8.主要是数据倾斜，线上故障，性能调优，troubleshooting等经验。 9.使用模拟数据,希望达到的效果。 10.需求分析，方案设计，数据设计，编码实现，测试以及性能调优等环节。
精细化运营之用户生命周期模型
qq_24206673的博客
07-22 1436
1.什么是RFM模型？ RFM
Spark数据处理与分析---留存率
shall潇の菜园
05-19 342
需求分析 日志数据清洗 用户留存分析 活跃用户分析 活跃用户地域信息分析 用户浏览深度分析 文章目录一、数据清洗1、读入日志文件并转化为RDD[Row]类型2、对数据进行清洗3、将数据写入mysql表中二、用户留存率分析 一、数据清洗 样例数据 1、读入日志文件并转化为RDD[Row]类型 按照Tab切割数据，过滤掉字段数量少于8个的 import java.util.Properties import org.apache.commons.lang.StringUtils import or
Mysql-计算n日留存率
weixin_44020827的博客
02-13 1438
一、创建一张包含每个用户最早登入日期的表 select user_id,min(date) as first_day from a2_userbehavior_csv group by user_id 二、创建一张包含每个用户所有登入日期的表 实际上就是对用户和日期去重 select user_id,date from a2_userbehavior_csv group by user_id,date 三、将两个表按照user_id拼接，并且计算日期时间差 select t1.*,t2.d
任务三：指标计算
guo_0423的博客
08-15 3491
大数据技能大赛
SparkSQL案例——用SQL和DSL两种语法格式，求出用户连续登录天数
LOGAN'S BLOG
10-04 538
实验数据： uid,dt guid01,2018-02-28 guid01,2018-03-01 guid01,2018-03-05 guid01,2018-03-02 guid01,2018-03-04 guid01,2018-03-06 guid01,2018-03-07 guid02,2018-03-01 guid02,2018-03-03 guid02,2018-03-02 guid02,2018-03-06 1.SQL风格 注意： 读取数据：针对不同的文件格式读取数据，获得df 创建.
Spark数据分析及处理
sun_0128的博客
08-15 4938
用例1：数据清洗 读入日志文件并转化为RDD[Row]类型 按照Tab切割数据 过滤掉字段数量少于8个的 对数据进行清洗 按照第一列和第二列对数据进行去重 过滤掉状态码非200 过滤掉event_time为空的数据 将url按照”&”以及”=”切割 保存数据 将数据写入mysql表中 日志拆分字段： event_time url method status sip user_uip action_prepend action_client 用例2：用户留存分析 计算用户的次日留存率 求当
72、Spark SQL之内置函数以及每日uv、销售额统计案例实战
ZJ__ZFH的博客
12-31 1504
Spark 1.5.x版本引入的内置函数 在Spark 1.5.x版本，增加了一系列内置函数到DataFrame API中，并且实现了code-generation的优化。与普通的函数不同，DataFrame的函数并不会执行后立即返回一个结果值，而是返回一个Column对象，用于在并行作业中进行求值。Column可以用在DataFrame的操作之中，比如select，filter，groupBy...
教你统计日留存、周留存、月留存率更准确的方法。
weixin_34409357的博客
06-11 1万+
2019独角兽企业重金招聘Python工程师标准>>> ...
SQL关于每日新增用户、次留存率、七日留存率等问题
热门推荐
qq_43807789的博客
08-14 2万+
1.数据下载(七周成为数据分析师的原数据)： https://pan.baidu.com/s/1ZWQKm1zy9xnNpUfo9Uc9WA 2.将数据CSV导入到SQL中 如下 3.思路 –关于新增用户(第一次登陆的用户)： select userid,min(paytime) first from order_info group by userid; –次留用户(即第一次登陆的用户在一天...
Hive + Spark(处理循环)计算活跃用户留存
Mogeko1的博客
03-21 288
Hive + Spark(处理循环)计算活跃用户留存
Hive统计新增,日活和留存率
coolmsn8786的博客
05-10 1627
用户行为触发的日志上报,已经存放在Hive的外部分区表中. 结构如下: 主要字段内容 dt表示日期,如20160510 platform表示平台,只有两个选项,苹果和安卓 mid是用户机器码,类似于网卡MAC地...
如何计算留存率（hive sql or spark sql）
03-16
留存率是指在一定时间范围内，用户在某个时间点后仍然使用产品或服务的比例。计算留存率可以使用Hive SQL或Spark SQL。 假设我们要计算某个应用程序在第一天、第七天和第三十天的留存率。我们可以按照以下步骤进行计算： 1. 首先，我们需要从用户行为日志中提取出每个用户的第一次使用时间。假设我们已经将这些数据存储在一个名为user_first_use的Hive表中，其中包含用户ID和第一次使用时间。 2. 接下来，我们需要计算每个用户在第一天、第七天和第三十天后是否仍然使用了应用程序。假设我们已经将这些数据存储在一个名为user_activity的Hive表中，其中包含用户ID、活动日期和活动类型（例如，打开应用程序、浏览页面等）。 3. 然后，我们可以使用Hive或Spark SQL编写查询来计算留存率。以下是一个使用Hive SQL计算留存率的示例查询： ``` SELECT COUNT(DISTINCT ua.user_id) AS total_users, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 0 THEN ua.user_id END) AS day1_retention, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 6 THEN ua.user_id END) AS day7_retention, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 29 THEN ua.user_id END) AS day30_retention FROM user_first_use uf JOIN user_activity ua ON uf.user_id = ua.user_id WHERE ua.activity_date BETWEEN uf.first_use_date AND DATE_ADD(uf.first_use_date, 29) ``` 这个查询将返回四个值：总用户数、第一天留存率、第七天留存率和第三十天留存率。我们使用COUNT(DISTINCT)函数来计算唯一用户的数量，并使用CASE语句来计算在特定日期范围内仍然使用应用程序的用户数量。DATEDIFF函数用于计算用户第一次使用应用程序后的天数。 4. 如果使用Spark SQL，可以使用类似的查询来计算留存率。以下是一个使用Spark SQL计算留存率的示例查询： ``` SELECT COUNT(DISTINCT ua.user_id) AS total_users, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 0 THEN ua.user_id END) AS day1_retention, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 6 THEN ua.user_id END) AS day7_retention, COUNT(DISTINCT CASE WHEN DATEDIFF(ua.activity_date, uf.first_use_date) = 29 THEN ua.user_id END) AS day30_retention FROM user_first_use uf JOIN user_activity ua ON uf.user_id = ua.user_id WHERE ua.activity_date BETWEEN uf.first_use_date AND DATE_ADD(uf.first_use_date, 29) ``` 这个查询与Hive SQL查询非常相似，只是使用了Spark SQL的语法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值