- 博客(9)
- 收藏
- 关注
原创 Spark RDD 案例:统计每日新增用户
目录一、提出任务二、实现思路三、完成任务(一)读取文件,得到RDD(二)倒排,互换RDD中元组的元素顺序 (三)倒排后的RDD按键分组(四)取分组后的日期集合最小值,计数为1(五)按键计数,得到每日新增用户数二、完成任务(一)新建Maven项目(二)添加相关依赖和构建插件(三)创建日志属性文件(四)创建每日新增用户单例对象...
2022-06-23 15:19:47
236
1
原创 SparkSQL案例:计算平均分
有多科成绩表,比如python.txt、spark.txt、django.txt,计算每个学生三科平均分Python成绩表 -
2022-06-17 09:19:34
418
原创 SparkRDD 词频统计
由于源程序目录改成了,在元素里必须添加子元素,指定目录 (五)本地运行程序,查看结果 首先看控制台输出结果 SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式,则指Master节点的访问地址;若是本地(单机)模式,则需要将地址改为local或local[N]或local[*],分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序,不需要Spark集群。此处也可不设置。若将其省略,则使用
2022-06-16 19:11:24
1252
原创 Spark RDD案例:分组排行榜
同一个学生有多门成绩,现需要计算每个学生分数最高的前3个成绩,期望输出结果如下所示: 预备工作:启动集群的HDFS与Spark (三)创建日志属性文件 在资源文件夹里创建日志属性文件 -............
2022-06-16 17:59:13
281
原创 利用SSM框架实现用户登录
(二)创建Maven项目创建Maven项目 -SSMLogin 设置项目命令、项目位置、组ID和项目ID(三)添加相关依赖在pom.xml文件里添加相关依赖 依赖下载成功(四)创建日志属性文件 - log4j.properties(五)创建数据库配置属性文件 - jdbc.properties说明:jdbc.url有时可能还需设置编码和时区(六)给项目添加Web功能打开项目结构窗口,按照演示进行操作查看【Modules】内......
2022-06-11 12:42:12
2740
原创 Spring容器
一、创建Spring应用程序 - 骑士完成任务(一)创建Maven项目创建Maven项目 -SpringDemo,设置项目位置以及组ID 单击【Finish】按钮 修改项目的Maven配置(二)添加Spring依赖 在Maven仓库里查找Spring框架(https://mvnrepository.com) 查看Spring Core 选择最新版本 -5.3.20 添加到pom.xml文件的<dependencie.....
2022-05-29 16:30:30
67
原创 半期总结报告
说实话,时间过的真的太快了,都说“时光如流水”看来是真没错!一开始看到这门课程以为又要安装一个什么软件,结果还是用私有云搭建实例,我以为又是同上学期孙剑老师讲的一样,我当时都崩溃了,因为上学期的就没有做成功过,一步跟不上就完蛋了。不过现在这个还好,主要是有老师的讲稿,可以跟着一步一步地做下去,但是刚开始布置任务让我们也写博客,您说期末检查,所以对我这个 懒人来说既好也不好,好就好在我可以临近期末了再开始写博客,不好在我每次配置虚拟机和搭建Spark的时候老是忘记截图,所以大多数时候都要重新开始做,还是挺
2022-05-23 15:56:28
59
原创 私有云上创建与配置虚拟机
点击“下一项”点击“下一项”点击提交。点击网络-路由-新建路由点击创建路由即可。点击网络-网络拓扑。点击“添加接口”按钮,在对话中选择子网。...
2022-05-18 09:54:31
513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人