2024年最新大数据Spark电影评分数据分析_spark分析电影评分数据集(2)，2024年最新面试加分项

最新推荐文章于 2024-06-11 10:06:19 发布

m0_74932057

最新推荐文章于 2024-06-11 10:06:19 发布

阅读量383

点赞数 5

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/m0_74932057/article/details/138847800

版权

程序员专栏收录该内容

185 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

首先将DataFrame注册为临时视图，再编写SQL语句，最后使用SparkSession执行，代码如下：

// TODO： 基于SQL方式分析
// 第一步、注册DataFrame为临时视图
ratingsDF.createOrReplaceTempView("view\_temp\_ratings")
// 第二步、编写SQL
val top10MovieDF: DataFrame = spark.sql(
  """
 |SELECT
 | movieId, ROUND(AVG(rating), 2) AS avg\_rating, COUNT(movieId) AS cnt\_rating
 |FROM
 | view\_temp\_ratings
 |GROUP BY
 | movieId
 |HAVING
 | cnt\_rating > 2000
 |ORDER BY
 | avg\_rating DESC, cnt\_rating DESC
 |LIMIT
 | 10
""".stripMargin)
//top10MovieDF.printSchema()
top10MovieDF.show(10, truncate = false)

应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。

代码实例：

val speech = “”"abc

|def"“”.stripMargin

运行的结果为：

abc

ldef

运行程序结果如下：
在这里插入图片描述

3 使用 DSL 分析

调用Dataset中函数，采用链式编程分析数据，核心代码如下：

// TODO: 基于DSL=Domain Special Language（特定领域语言） 分析

import org.apache.spark.sql.functions._

val resultDF: DataFrame = ratingsDF
  // 选取字段
  .select($"movieId", $"rating")
  // 分组：按照电影ID，获取平均评分和评分次数
  .groupBy($"movieId")
  .agg( //
    round(avg($"rating"), 2).as("avg\_rating"), //
    count($"movieId").as("cnt\_rating") //
  )
  // 过滤：评分次数大于2000
  .filter($"cnt\_rating" > 2000)
  // 排序：先按照评分降序，再按照次数降序
  .orderBy($"avg\_rating".desc, $"cnt\_rating".desc)
  // 获取前10
  .limit(10)
//resultDF.printSchema()
resultDF.show(10)

Round函数返回一个数值，该数值是按照指定的小数位数进行四舍五入运算的结果。除数值外，也可对日期进行舍入运算。
round(3.19, 1) 将 3.19 四舍五入到一个小数位 (3.2)
round(2.649, 1) 将 2.649 四舍五入到一个小数位 (2.6)
round(-5.574, 2) 将 -5.574 四舍五入到两小数位 (-5.57)

其中使用SparkSQL中自带函数库functions，在org.apache.spark.sql.functions中，包含常用函
数，有些与Hive中函数库类似，但是名称不一样。
在这里插入图片描述
使用需要导入函数库：import org.apache.spark.sql.functions._

4 保存结果数据

将分析结果数据保存到外部存储系统中，比如保存到MySQL数据库表中或者CSV文件中。

// TODO: 将分析的结果数据保存MySQL数据库和CSV文件
// 结果DataFrame被使用多次，缓存
resultDF.persist(StorageLevel.MEMORY\_AND\_DISK)
// 1. 保存MySQL数据库表汇总
resultDF
  .coalesce(1) // 考虑降低分区数目
  .write
  .mode("overwrite")
  .option("driver", "com.mysql.cj.jdbc.Driver")
  .option("user", "root")
  .option("password", "123456")
  .jdbc(
    "jdbc:mysql://node1.oldlu.cn:3306/?serverTimezone=UTC&characterEncoding=utf8&useUnic
      ode = true",
      "db\_test.tb\_top10\_movies",
      new Properties ()
      )
      // 2. 保存CSV文件：每行数据中个字段之间使用逗号隔开
      resultDF
      .coalesce (1)
      .write.mode ("overwrite")
      .csv ("datas/top10-movies")
      // 释放缓存数据
      resultDF.unpersist ()

查看数据库中结果表的数据：
在这里插入图片描述

5 案例完整代码

电影评分数据分析，经过数据ETL、数据分析（SQL分析和DSL分析）及最终保存结果，整套
数据处理分析流程，其中涉及到很多数据细节，完整代码如下

import java.util.Properties
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
import org.apache.spark.storage.StorageLevel

/\*\*
 \* 需求：对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)
 \*/
object SparkTop10Movie {
  def main(args: Array[String]): Unit = {
    // 构建SparkSession实例对象
    val spark: SparkSession = SparkSession.builder()
      .master("local[4]")
      .appName(this.getClass.getSimpleName.stripSuffix("$"))
      // TODO: 设置shuffle时分区数目
      .config("spark.sql.shuffle.partitions", "4")
      .getOrCreate()
    // 导入隐式转换
    import spark.implicits._
    // 1. 读取电影评分数据，从本地文件系统读取
    val rawRatingsDS: Dataset[String] = spark.read.textFile("datas/ml-1m/ratings.dat")
    // 2. 转换数据
    val ratingsDF: DataFrame = rawRatingsDS
      // 过滤数据
      .filter(line => null != line && line.trim.split("::").length == 4)
      // 提取转换数据
      .mapPartitions { iter =>
        iter.map { line =>
          // 按照分割符分割，拆箱到变量中
          val Array(userId, movieId, rating, timestamp) = line.trim.split("::")
          // 返回四元组
          (userId, movieId, rating.toDouble, timestamp.toLong)
        }
      }
      // 指定列名添加Schema
      .toDF("userId", "movieId", "rating", "timestamp")
    /\*
 root
 |-- userId: string (nullable = true)
 |-- movieId: string (nullable = true)
 |-- rating: double (nullable = false)
 |-- timestamp: long (nullable = false)
 \*/
    //ratingsDF.printSchema()
    /\*
 +------+-------+------+---------+
 |userId|movieId|rating|timestamp|
 +------+-------+------+---------+
 | 1| 1193| 5.0|978300760|
 | 1| 661| 3.0|978302109|
 | 1| 594| 4.0|978302268|
 | 1| 919| 4.0|978301368|
 +------+-------+------+---------+
 \*/
    //ratingsDF.show(4)
    // TODO： 基于SQL方式分析
    // 第一步、注册DataFrame为临时视图
    ratingsDF.createOrReplaceTempView("view\_temp\_ratings")
    // 第二步、编写SQL
    val top10MovieDF: DataFrame = spark.sql(
      """
 |SELECT
 | movieId, ROUND(AVG(rating), 2) AS avg\_rating, COUNT(movieId) AS cnt\_rating
 |FROM
 | view\_temp\_ratings
 |GROUP BY
 | movieId
 |HAVING
 | cnt\_rating > 2000
 |ORDER BY
 | avg\_rating DESC, cnt\_rating DESC
 |LIMIT
 | 10
""".stripMargin)
    //top10MovieDF.printSchema()
    top10MovieDF.show(10, truncate = false)
    println("===============================================================")
    // TODO: 基于DSL=Domain Special Language（特定领域语言） 分析
    import org.apache.spark.sql.functions._
    val resultDF: DataFrame = ratingsDF
      // 选取字段
      .select($"movieId", $"rating")
      // 分组：按照电影ID，获取平均评分和评分次数
      .groupBy($"movieId")
      .agg( //
        round(avg($"rating"), 2).as("avg\_rating"), //
        count($"movieId").as("cnt\_rating") //
      )
      // 过滤：评分次数大于2000
      .filter($"cnt\_rating" > 2000)
      // 排序：先按照评分降序，再按照次数降序
      .orderBy($"avg\_rating".desc, $"cnt\_rating".desc)
      // 获取前10
      .limit(10)
    //resultDF.printSchema()
    resultDF.show(10)
    // TODO: 将分析的结果数据保存MySQL数据库和CSV文件
    // 结果DataFrame被使用多次，缓存


![img](https://img-blog.csdnimg.cn/img_convert/fba3fa35bac13cc2a1ef389bce85ec43.png)
![img](https://img-blog.csdnimg.cn/img_convert/a42394ef7853bc4748d02e50c4b8ab69.png)
![img](https://img-blog.csdnimg.cn/img_convert/2f77153d75a716237cce600a55cf649f.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

k3tm-1715657856274)]
[外链图片转存中...(img-GngYIvwK-1715657856275)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

m0_74932057

关注

5
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
2024年最新大数据Spark电影评分数据分析_spark分析电影评分数据集(2)，2024年最新面试加分项

应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。代码实例：运行的结果为：abcldef。
复制链接

扫一扫