文章目录
前言
我们知道,Spark是一个优秀的基于内存的计算框架,可以独立使用,也可以和Hadoop集成使用,可以使用Hadoop的yarn进行资源管理、可以读写hdfs文件,而且Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
项目要求
自行准备某个领域的数据(可以是电商商品数据、电商订单数据、影视数据、游戏数据、工业互联网数据、手机埋点数据、天气数据、股票数据、房地产数据等等,但不能选新能源车辆数据),并搜集/准备至少五个相关的统计指标,然后写Spark程序完成这些指标的计算。
一、数据集介绍
每当我想尝试新的化妆品时,都很难选择。实际上,这并不困难。有时会令人恐惧,因为我从未尝试过的新产品最终给我造成了皮肤困扰。我们将使用处理丝芙兰上1472种化妆品的成分进行指标统计。使用的阿里天池数据集链接如下:
https://tianchi.aliyun.com/dataset/92538/
二、指标介绍
- 计算价格范围。分别计算Price列的最小值、最大值、平均值和中位数。
- 分析品牌分布。根据Brand列分组,计算每个品牌的数量,并按照数量降序排序,取第一行作为最常见的品牌
- 分析适用皮肤类型分布。定义一个皮肤类型的标签列表,统计每个皮肤类型的数量,并构建一个“皮肤类型-数量”的映射表。
- 分析成分。对Ingredients列进行操作,按照成分进行分组,并统计每个成分出现的次数,最后按照次数降序排序,取第一行的成分作为最常见的成分
- 分析排名变化最大的品牌。选择Brand和Rank两列,使用sliding函数将连续的两行作为一对进行切片,计算两个排名之间的变化,获取最大的排名变化和对应的品牌。
- 判断排名变化方向。根据最大的排名变化,判断排名是上升还是下降。
三、项目实现流程
1.创建SparkSession
val spark: SparkSession = SparkSession
.builder()
.appName("CosmeticsAnalysis")
.master("local")
.getOrCreate()
2.读取数据
读取数据集文件,并将DataFrame文件转成df
// 设置CSV文件名
val filename: String = "src/main/resources/cosmetics.csv"
val df: DataFrame = spark.read
.option("header", "true")
.option("inferSchema", "true")