- 博客(9)
- 收藏
- 关注
RSS订阅原创 Spark RDD 案例：统计每日新增用户
目录一、提出任务二、实现思路三、完成任务（一）读取文件，得到RDD（二）倒排，互换RDD中元组的元素顺序 （三）倒排后的RDD按键分组（四）取分组后的日期集合最小值，计数为1（五）按键计数，得到每日新增用户数二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件（四）创建每日新增用户单例对象...
2022-06-23 15:19:47
153
1
原创 SparkSQL案例：计算平均分
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 -
2022-06-17 09:19:34
359
原创 SparkRDD 词频统计
由于源程序目录改成了，在元素里必须添加子元素，指定目录 （五）本地运行程序，查看结果 首先看控制台输出结果 SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式，则指Master节点的访问地址；若是本地（单机）模式，则需要将地址改为local或local[N]或local[*]，分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序，不需要Spark集群。此处也可不设置。若将其省略，则使用
2022-06-16 19:11:24
1238
原创 Spark RDD案例：分组排行榜
同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示： 预备工作：启动集群的HDFS与Spark （三）创建日志属性文件 在资源文件夹里创建日志属性文件 -............
2022-06-16 17:59:13
176
原创 利用SSM框架实现用户登录
（二）创建Maven项目创建Maven项目 -SSMLogin 设置项目命令、项目位置、组ID和项目ID（三）添加相关依赖在pom.xml文件里添加相关依赖 依赖下载成功（四）创建日志属性文件 - log4j.properties（五）创建数据库配置属性文件 - jdbc.properties说明：jdbc.url有时可能还需设置编码和时区（六）给项目添加Web功能打开项目结构窗口，按照演示进行操作查看【Modules】内......
2022-06-11 12:42:12
2524
原创 Spring容器
一、创建Spring应用程序 - 骑士完成任务（一）创建Maven项目创建Maven项目 -SpringDemo，设置项目位置以及组ID 单击【Finish】按钮 修改项目的Maven配置（二）添加Spring依赖 在Maven仓库里查找Spring框架（https://mvnrepository.com） 查看Spring Core 选择最新版本 -5.3.20 添加到pom.xml文件的<dependencie.....
2022-05-29 16:30:30
61
原创 半期总结报告
说实话，时间过的真的太快了，都说“时光如流水”看来是真没错！一开始看到这门课程以为又要安装一个什么软件，结果还是用私有云搭建实例，我以为又是同上学期孙剑老师讲的一样，我当时都崩溃了，因为上学期的就没有做成功过，一步跟不上就完蛋了。不过现在这个还好，主要是有老师的讲稿，可以跟着一步一步地做下去，但是刚开始布置任务让我们也写博客，您说期末检查，所以对我这个 懒人来说既好也不好，好就好在我可以临近期末了再开始写博客，不好在我每次配置虚拟机和搭建Spark的时候老是忘记截图，所以大多数时候都要重新开始做，还是挺
2022-05-23 15:56:28
54
原创 私有云上创建与配置虚拟机
点击“下一项”点击“下一项”点击提交。点击网络-路由-新建路由点击创建路由即可。点击网络-网络拓扑。点击“添加接口”按钮，在对话中选择子网。...
2022-05-18 09:54:31
491
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人