- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于Spark、Scala的电子游戏下载量统计分析
目录前 言Spark:Scala:数据准备：数据框架的搭建：将一个 RDD 中的 JSON 数据转换为对象，并进行了一些数据清洗操作。 这段代码通过使用 reduceByKey 方法对 dateRdd 中的数据进行聚合，计算同一位置和日期的下雨量之和。reduceByKey 方法是基于键（即位置和日期的元组）进行聚合操作的，它将具有相同键的元素进行合并，并且对键值对应的值应用一个指定的聚合函数。首先，使用 filter 方法对 dateRdd 进行过滤，筛选出下雨量为零的数据。_._2 表示元组的
2023-11-17 15:16:47
50
1
原创 【Java MVC】制作简单的手机管理系统
该学期JAVA的学习可以说让我们正式认识了JAVA这门语言的魅力，通过结合Spring Boot、JPA、Thymeleaf、MySQL和Bootstrap，从最初几行代码变为现如今的几十行到几百行，一点点的学习一点点的进步，漫长的过程也让我们对知识更深刻的记忆。如老师所言，“代码是需要练的”，光看是无法真正的学会。
2023-07-05 11:41:52
516
1
原创 Hadoop 存储数据
编写一个MapReduce程序，每天凌晨2点统计前一天的新能源车辆数据是否有重复数据（所有字段都相同的两条数据则认为是重复数据），并将有重复数据的车辆信息写入到第一题的Mysql数据库的repeat表中（表必须包含字段：数据生成日期、车架号、重复次数。比如2023-01-01这一天，vin0001有两条重复数据，则mysql表中的记录则为2023-01-01、vin0001、2）；出现如此则为在虚拟机中创建MySQL已经成功。并把需要的文件上传到数据库的文件中方便查询。
2023-06-23 18:34:57
116
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人