大数据Spark电影评分数据分析_spark分析电影评分数据集(1)

最新推荐文章于 2024-10-08 16:28:05 发布

2401_84166436

最新推荐文章于 2024-10-08 16:28:05 发布

阅读量995

点赞数 24

分类专栏： 2024年程序员学习文章标签：大数据 spark 数据分析

本文链接：https://blog.csdn.net/2401_84166436/article/details/137899685

版权

本文通过Spark对电影评分数据进行分析，选取平均评分最高且评分次数超过2000的Top10电影，涉及数据处理、过滤、排序及结果保存到MySQL数据库和CSV文件。同时分享了作者的个人背景及提供的大数据学习资源。

摘要由CSDN通过智能技术生成

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文



> 
> 应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。
> 
> 
> 代码实例：
> 
> 
> val speech = “”"abc
> 
> 
> |def"“”.stripMargin
> 
> 
> 运行的结果为：
> 
> 
> abc
> 
> 
> ldef
> 
> 
> 


运行程序结果如下：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/17cf5f363fc94604a24f9f443f92c88e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pHTF9jeXk=,size_16,color_FFFFFF,t_70)


## 3 使用 DSL 分析


调用Dataset中函数，采用链式编程分析数据，核心代码如下：

// TODO: 基于DSL=Domain Special Language（特定领域语言）分析

import org.apache.spark.sql.functions._

val resultDF: DataFrame = ratingsDF
// 选取字段
.select($“movieId”, $" r a t in g ") // 分组：按照电影 I D ，获取平均评分和评分次数 . g ro u$