大数据Spark电影评分数据分析_spark分析电影评分数据集(1)

最新推荐文章于 2024-05-14 11:37:58 发布

2401_84166436

最新推荐文章于 2024-05-14 11:37:58 发布

阅读量805

点赞数 24

分类专栏： 2024年程序员学习文章标签：大数据 spark 数据分析

本文链接：https://blog.csdn.net/2401_84166436/article/details/137899685

版权

2024年程序员学习专栏收录该内容

79 篇文章 1 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文



> 
> 应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。
> 
> 
> 代码实例：
> 
> 
> val speech = “”"abc
> 
> 
> |def"“”.stripMargin
> 
> 
> 运行的结果为：
> 
> 
> abc
> 
> 
> ldef
> 
> 
> 


运行程序结果如下：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/17cf5f363fc94604a24f9f443f92c88e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pHTF9jeXk=,size_16,color_FFFFFF,t_70)


## 3 使用 DSL 分析


调用Dataset中函数，采用链式编程分析数据，核心代码如下：

// TODO: 基于DSL=Domain Special Language（特定领域语言）分析

import org.apache.spark.sql.functions._

val resultDF: DataFrame = ratingsDF
// 选取字段
.select($“movieId”, $" r a t in g ") // 分组：按照电影 I D ，获取平均评分和评分次数 . g ro u pB y ($ “movieId”)
.agg( //
round(avg( $rating"), 2).as("avg\_rating"), // count($ “movieId”).as(“cnt_rating”) //
)
// 过滤：评分次数大于2000
.filter( $cnt\_rating" > 2000) // 排序：先按照评分降序，再按照次数降序 .orderBy($ “avg_rating”.desc, $“cnt_rating”.desc)
// 获取前10
.limit(10)
//resultDF.printSchema()
resultDF.show(10)



> 
> Round函数返回一个数值，该数值是按照指定的小数位数进行四舍五入运算的结果。除数值外，也可对日期进行舍入运算。  
>  round(3.19, 1) 将 3.19 四舍五入到一个小数位 (3.2)  
>  round(2.649, 1) 将 2.649 四舍五入到一个小数位 (2.6)  
>  round(-5.574, 2) 将 -5.574 四舍五入到两小数位 (-5.57)
> 
> 
> 


其中使用SparkSQL中自带函数库functions，在org.apache.spark.sql.functions中，包含常用函  
 数，有些与Hive中函数库类似，但是名称不一样。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e46c099b826c49f5813cd39a48d87b5f.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pHTF9jeXk=,size_16,color_FFFFFF,t_70)  
 使用需要导入函数库：import org.apache.spark.sql.functions.\_


## 4 保存结果数据


将分析结果数据保存到外部存储系统中，比如保存到MySQL数据库表中或者CSV文件中。

// TODO: 将分析的结果数据保存MySQL数据库和CSV文件
// 结果DataFrame被使用多次，缓存
resultDF.persist(StorageLevel.MEMORY_AND_DISK)
// 1. 保存MySQL数据库表汇总
resultDF
.coalesce(1) // 考虑降低分区数目
.write
.mode(“overwrite”)
.option(“driver”, “com.mysql.cj.jdbc.Driver”)
.option(“user”, “root”)
.option(“password”, “123456”)
.jdbc(
“jdbc:mysql://node1.oldlu.cn:3306/?serverTimezone=UTC&characterEncoding=utf8&useUnic
ode = true”,
“db_test.tb_top10_movies”,
new Properties ()
)
// 2. 保存CSV文件：每行数据中个字段之间使用逗号隔开
resultDF
.coalesce (1)
.write.mode (“overwrite”)
.csv (“datas/top10-movies”)
// 释放缓存数据
resultDF.unpersist ()


查看数据库中结果表的数据：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/01b577aba3f84a76893c41af6db5c2b5.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pHTF9jeXk=,size_16,color_FFFFFF,t_70)


## 5 案例完整代码


电影评分数据分析，经过数据ETL、数据分析（SQL分析和DSL分析）及最终保存结果，整套  
 数据处理分析流程，其中涉及到很多数据细节，完整代码如下

import java.util.Properties
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
import org.apache.spark.storage.StorageLevel

/**
* 需求：对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)
*/
object SparkTop10Movie {
def main(args: Array[String]): Unit = {
// 构建SparkSession实例对象
val spark: SparkSession = SparkSession.builder()
.master(“local[4]”)
.appName(this.getClass.getSimpleName.stripSuffix(" $KaTeX parse error: Expected 'EOF', got '&' at position 374: \dots> null != line &̲& line.trim.spl\dots$ “movieId”, $" r a t in g ") // 分组：按照电影 I D ，获取平均评分和评分次数 . g ro u pB y ($ “movieId”)
.agg( //
round(avg( $rating"), 2).as("avg\_rating"), // count($ “movieId”).as(“cnt_rating”) //
)
// 过滤：评分次数大于2000
.filter( $cnt\_rating" > 2000) // 排序：先按照评分降序，再按照次数降序 .orderBy($ “avg_rating”.desc, $“cnt_rating”.desc)
// 获取前10
.limit(10)
//resultDF.printSchema()
resultDF.show(10)
// TODO: 将分析的结果数据保存MySQL数据库和CSV文件
// 结果DataFrame被使用多次，缓存
resultDF.persist(StorageLevel.MEMORY_AND_DISK)
// 1. 保存MySQL数据库表汇总
resultDF
.coalesce(1) // 考虑降低分区数目
.write
.mode(“overwrite”)
.option(“driver”, “com.mysql.cj.jdbc.Driver”)
.option(“user”, “root”)
.option(“password”, “123456”)
.jdbc(
“jdbc:mysql://node1.oldlu.cn:3306/?serverTimezone=UTC&characterEncoding=utf8&useUnic
ode = true”,

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

   ode = true",

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-0Z1W1YRy-1713389468857)]

2401_84166436

关注

24
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
大数据Spark电影评分数据分析_spark分析电影评分数据集(1)

需求：对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)// TODO: 将分析的结果数据保存MySQL数据库和CSV文件。// TODO: 将分析的结果数据保存MySQL数据库和CSV文件。// 结果DataFrame被使用多次，缓存。// 结果DataFrame被使用多次，缓存。// 1. 保存MySQL数据库表汇总。// 1. 保存MySQL数据库表汇总。// 过滤：评分次数大于2000。// 过滤：评分次数大于2000。
复制链接

扫一扫