- 博客(17)
- 收藏
- 关注
RSS订阅原创 瑞吉外卖项目实战
（四）创建应用属性文件在resources目录下创建应用属性文件 - application.yml配置application.yml查看项目启动页面log对象的五个方法WebMvcConfig继承WebMvcConfigurationSupport类重写addResourceHandlers方法打印静态资源映射测试项目查看静态资源映射启动应用在浏览器输入localhost:8080/backend/index.html,访问后端首页访问前端图片资源四、后台登录功
2022-12-18 21:51:27
510
原创 Spark RDD交互式案例统计每日新增长用户
现需要根据上述数据统计每日新增的用户数量，期望统计结果：预备工作：启动集群的HDFS与Spark在虚拟机创建user.txt文件将user.txt上传到HDFS/input目录下执行spark-shell命令二、完成任务（一）读取文件，得到RDD执行命令：val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)...
2022-06-23 17:10:14
140
原创 Spark RDD案例：统计每日新增用户
现需要根据上述数据统计每日新增的用户数量，期望统计结果即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）。预备工作：启动集群的HDFS与Spark在虚拟机创建user.txt文件将user.txt上传到HDFS/input目录下二、完成任务（一）新建Maven项目设置项目类型scala 目录（用的以前的gif不会影响）（二
2022-06-23 17:00:15
180
原创 spring容器
创建Maven项目 - SpringDemo，设置项目位置以及组ID单击.[Finsh]按钮修改maven位置打开Maven窗口单击刷新按钮，就开始下载依赖包插件与依赖下载完成（三）创建杀龙任务创建net.cch.spring.day01包，然后在包里面创建SlayDragonQuest类下面展示一些 。(四) 创建勇敢骑士类net.cch.spring.day01包里创建BraveKnight类（五）采用传统的方式然勇敢骑士完成杀龙任务net.cch.spri
2022-06-23 16:59:42
81
原创 利用Spark RDD计算平均分
目录一、提出任务二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件（四）创建计算平均分单例对象（五）本地运行程序，查看结果三、课后练习任务1、计算平均分，按平均分降序排列任务2、利用Spark RDD计算平均分有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 - （三）创建日志属性文件 在资源文件夹里创建日志属性文件 - （四）创建计算平均分单例对象 在包里创建单
2022-06-23 16:47:51
1394
原创 Spring Boot + ECharts 案例演示
执行上述命令 执行上述语句 （四）创建班级映射器接口 在包里创建子包，在子包里创建接口 （五）创建班级映射器配置文件 在里创建目录，在里面创建 （六）创建班级服务类 在包里创建子包，在子包里创建类 （七）创建班级控制器 在包里创建子包，在子包里创建类 （八）添加ECharts和jQuery脚本 在里创建目录，添加与（十）修改应用属性文件 将更名为 （十一）创建页面可视化数
2022-06-18 11:15:57
135
原创 Spark SQL案例：计算平均分
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分Python成绩表 - 在控制台查看输出结果
2022-06-17 09:13:17
446
原创 Spark SQL案例：分组排行榜
分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。有一组学生成绩数据同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示数据表执行查询预备工作：启动集群的HDFS与Spark 将成绩文件 - 上传到HDFS上目录设置项目信息（项目名、保存位置、组编号、项目编号）单击【Finish】按钮 将目录改成目录在文件里添加依赖与Maven构建插件在资源文件夹里创建日志属性文件 - 在包里创建单例
2022-06-16 16:57:43
346
原创 Spark RDD案例：分组排行榜
分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。预备工作：启动集群的HDFS与Spark将成绩文件 - grades.txt上传到HDFS上/input目录 实现思路：使用Spark RDD的groupByKey()算子可以对(key, value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key, value-list)，将value-list中的元素降序排
2022-06-16 15:38:32
218
原创 大数据课程学期总结
经过了一学期的的学习，我们学习到了：私有云上创建与配置虚拟机，在VMware上创建虚拟机，搭建Spark Standalone集群，Scala，RDD，Spark RDD案例分析，Spring Boot框架。当然还做了很多案例和课堂小作业，从刚刚开始的一无所知到现在熟练的搭建spark集群和掌握RDD算子，我们从概念开始，再到实践案例结束。整个过程不仅不枯燥反而很有趣，对学习感兴趣说明是一个好兆头。老师指导我们，分析案例，寻找问题，解决问题。让我们把过程很案例都发布在博文上让我们做好记录加深印象，或许以后有
2022-06-16 12:56:14
1662
原创 Spark RDD案例：词频统计
目录一、提出任务二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件（四）创建词频统计单例对象（五）本地运行程序，查看结果（六）对于程序代码进行解析（七）将Spark项目编译和打包（八）将词频统计应用上传到虚拟机（九）在集群上执行词频统计应用1、提交应用程序到集群中运行（2）带参数运行程序 1.单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。 2. 在IntelliJ IDEA中新
2022-06-15 11:43:05
1055
原创 利用SSM框架实现用户登录
执行命令：查看创建的数据库 创建Maven项目 - 设置项目命令、项目位置、组ID和项目ID 在文件里添加相关依赖 依赖下载成功 在目录里创建文件 在目录里创建 说明：jdbc.url有时可能还需设置编码和时区，数据库密码要改成自己电脑数据库密码 单击工具栏上【Project Structure】按钮 查看【Modules】内容 单击【SSMLogin】左上角的 + + +按钮 单击【Cr
2022-06-14 13:53:16
3988
2
原创 半期学习总结
遇到困难不要轻易放弃，上这门《大数据实时处理》课程已经过了半期，在我们这个班级上每个人掌握的知识深浅都不一样，但是都未放弃过，互相帮助、团结一致，当然也少不了老师的指导，老师很耐心，很细心一直在指导我们，我们也得更加用心的来对待这门课程，或许并不是每个同学都对这门课程感兴趣，但老师用不一样的教学方式让我们对它感兴趣，并没有因为我们上期学过而拉进度，而是从最基础的讲，争取让每一个同学都能跟上。老师上课不仅仅局限与教材，还和我们一起学习英语，并且往往让我们了解更多，让我感到这个老师很不一样，我总是能对他上课提起
2022-06-04 18:36:30
79
原创 搭建spark集群
一、搭建集群（一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机打开连接对话框1.登录master在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件添加两个域名服务器存盘退出执行命令：yum -y install vim现在我们通过/et...
2022-03-21 20:24:33
3997
原创 私有云上创建与配置
文章目录一、创建网络 （一）创建网络 - HTY2022二、创建实例 （一）基于WindowsThinPC镜像创建HTY_win7实例 （二）基于centos7创建master实例 （三）基于centos7创建slave1实例 （四）基于centos7创建slave2实例三、查看实例 （一）查看主节点master实例 （二）查看从节点slave1实例 （三）查看从节点slave2实例 （四）查看HTY_win7实例四...
2022-02-28 20:41:31
547
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人