34.session随机抽取之本地测试

最新推荐文章于 2022-08-08 20:25:12 发布
最新推荐文章于 2022-08-08 20:25:12 发布
阅读量1k 收藏 2
点赞数
分类专栏： Spark大型电商项目实战 文章标签： spark session 本地测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012318074/article/details/65938275
版权

本文为《Spark大型电商项目实战》 系列文章之一，主要介绍session聚合统计模块的本地测试。

本地测试

首先将数据库中task表中的task_param数据改为测试当天日期，因为生成的模拟数据日期是当天的。

然后运行包com.erik.sparkproject.spark.session下的UserVisitSessionAnalyzeSpark.java。运行结束后，如果没有报错可以查看数据库中的数据，在表session_random_extract中显示类似如下数据
这里写图片描述

可以使用SELECT COUNT(*) FROM session_random_extract命令查看数据量
这里写图片描述

在session_aggr_stat表中有类似如下数据
这里写图片描述

如果程序运行正常而且数据库中出现类似数据说明session聚合统计模块测试通过。

本文为《Spark大型电商项目实战》系列文章之一。
更多文章：Spark大型电商项目实战：http://blog.csdn.net/u012318074/article/category/6744423

Erik_ly
关注
专栏目录
Debezium分享系列之：设置 Oracle数据库支持Debezium采集数据的详细步骤
zhengzaifeidelushang的博客
04-16 400
要设置 Oracle 以与 Debezium Oracle 连接器一起使用，需要执行以下步骤。这些步骤假设使用具有容器数据库和至少一个可插入数据库的多租户配置。如果您不打算使用多租户配置，则可能需要调整以下步骤。
Spark大数据用户session分析 spark处理之数据表设计7
chixushuchu的博客
12-06 364
经历了数据调研、需求分析、技术方案选型、技术实现、进入数据设计、 集中spark作业保存数据的业务表结构 第一表：session_aggr_stat表，存储第一个功能，session聚合统计的结果 CREATE TABLE session_aggr_stat ( task_id int(11) NOT NULL, session_count int(11) DEFAULT NULL, 1s_3s ...
用户访问session分析-随机抽取
fanyao4144的博客
01-28 392
目标 按每天每小时的session数量占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session数量。然后在每天每个小时的session中，随机抽取出之前计算出的数量的session。 举例：10000个session，100个session；0点~1点之间，有2000个session，占总session的比例就是0.2；按照比例，0点~1点需要抽
33.session随机抽取之获取抽取session的明细数据
Erik_ly的博客
03-25 1864
本文为《Spark大型电商项目实战》 系列文章之一，主要介绍session随机抽取模块中的获取抽取session明细数据的实现过程。
spark 大型项目实战(二十三):用户访问session分析(二十三) --session随机抽取之根据随机索引进行抽取
u012957549的博客
06-09 2895
项目源码：https://github.com/haha174/spark-session.git /** * 第五步：遍历每天每小时的session，然后根据随机索引进行抽取 */ // 执行groupByKey算子，得到<dateHour,(session aggrInfo)> JavaPairRDD&...
按时间比例随机抽取session
chbxw
07-17 1109
每一次执行用户访问session分析模块，要抽取出100个session session随机抽取：按每天的每个小时的session数量，占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session数量；然后呢，在每天每小时的session中，随机抽取出之前计算出来的数量的session。 举例：10000个session，抽取100个session；...
40.Spark大型电商项目-用户访问session分析-session随机抽取之根据随机索引进行抽取
someby的博客
03-21 298
目录 随机抽取session插入表代码 ISessionRandomExtractDAO.java SessionRandomExtract.java SessionRandomExtractDAOImpl.java SessionRandomExtractTest.java 测试结果 根据随机索引进行抽取 UserVisitSessionAnlyzeSpark.java 本篇文...
软件测试知识体系图谱
weixin_50552058的博客
07-07 4922
软件测试基础图谱
meituan交互式系统项目浅析(1) session 模块
KujyouRuri的博客
06-16 281
项目简介： 本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行 为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。 项目主要采用目前大数据领域较为流行的Spark技术堆栈。采用了Spark技术生态栈中最常用的
2、测试面试题总结整理
qq_45778920的博客
08-08 3759
分享学习，享受快乐(*^▽^*)
使用spark随机读取前10条数据
qq_43193797的博客
08-12 3063
val rdd=sc.textFile("/hive/external/ad_win_b/2019122704"); rdd.take(100).foreach(println)
29.session随机抽取之实现思路分析
Erik_ly的博客
03-25 1431
本文为《Spark大型电商项目实战》 系列文章之一，主要分析用户访问session随机抽取的实现思路，并创建所需的MySQL表，为后面的编码实现做准备。
spark 大型项目实战(二十):用户访问session分析(二十) --session随机抽取之实现思路分析
u012957549的博客
06-09 2968
文章地址：http://www.haha174.top/article/details/253333 每一次执行用户访问session分析模块，要抽取出100个session session随机抽取：按每天的每个小时的session数量，占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session数量；然后呢，在每天每小时的session中，随机抽取...
对用户访问session进行分析
chbxw
07-17 7596
一、模块的目标：对用户访问session进行分析 1、可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）； 2、对这些用户在指定日期范围内发起的session，进行聚合统计，比如，统计出访问时长在0~3s的session占总session数量的比例； 3、按时间比例，比如一天有24个小时，其中12:00~13:00的session数量占当天总session数量的50...
spark 大型项目实战(二十二):用户访问session分析(二十二) --session随机抽取之按时间比例随机抽取算法实现
u012957549的博客
06-09 3040
项目源码：https://github.com/haha174/spark-session.git 大致步骤如下： 第一步，计算出每天每小时的session数量，获取<yyyy-MM-dd_HH,sessionid>格式的RDD 第二步，使用按时间比例随机抽取算法，计算出每天每小时要抽取session的索引，将<yyyy-MM-dd_HH,count&gt
1.Spark大型电商项目实战简介
热门推荐
Erik_ly的博客
02-24 2万+
本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。
2.环境搭建-CentOS集群搭建
Erik_ly的博客
02-24 5315
本文主要介绍在 Windows 宿主机上使用 VirtualBox 搭建三节点 CentOS 集群实验环境。
《Spark快速大数据分析》XMind思维导图笔记
Erik_ly的博客
09-18 5209
《Spark快速大数据分析》XMind思维导图笔记，内容详细，思路清晰。
50.性能调优之重构RDD架构以及RDD持久化
Erik_ly的博客
04-23 4264
本文为《Spark大型电商项目实战》 系列文章之一，主要介绍重构RDD及持久化的原因及方法，并在代码中实现优化。
session = boto3.session.Session()
最新发布
06-13
session = boto3.session.Session( aws_access_key_id='YOUR_ACCESS_KEY', aws_secret_access_key='YOUR_SECRET_KEY', region_name='YOUR_REGION' ) ``` 这个 session 对象可以在后续的 AWS 操作中使用，例如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值