Spark SQL数据帧与数据集

已于 2023-06-13 21:03:03 修改
阅读量1.6k 收藏 2
点赞数 1
分类专栏： 大数据处理 文章标签： spark sql 大数据
于 2023-06-12 12:11:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62617719/article/details/131079900
版权

文章目录

一、数据帧 - DataFrame

（一）DataFrame概述

DataFrame是Spark SQL提供的一个编程抽象，与RDD类似，也是一个分布式的数据集合，但与RDD不同，DataFrame的数据都被组织到有名字的列中，就像关系型数据库中的表一样。在Spark 1.3.0版本之前，DataFrame被称为SchemaRDD。此外，多种数据都可以转化为DataFrame，例如Spark计算过程中生成的RDD、结构化数据文件、Hive中的表、外部数据库等。

（二）将RDD转成DataFrame

DataFrame在RDD的基础上添加了数据描述信息（Schema，模式，即元信息），因此看起来更像是一张数据库表。

一个RDD中有5行数据

将RDD转成DataFrame

使用DataFrame API结合SQL处理结构化数据比RDD更加容易，而且通过DataFrame API或SQL处理数据，Spark优化器会自动对其优化，即使写的程序或SQL不高效，也可以运行得很快。

二、数据集 - Dataset

（一）Dataset概述

Dataset是一个分布式数据集，Spark 1.6中添加的一个新的API。相对于RDD，Dataset提供了强类型支持，在RDD的每行数据加了类型约束。而且使用Dataset API同样会经过Spark SQL优化器的优化，从而提高程序执行效率。

（二）将RDD转成DataSet

一个RDD中有5行数据

将RDD转换为Dataset

（三）DataFrame与Dataset的关系

在Spark中，一个DataFrame所代表的是一个元素类型为Row的Dataset，即DataFrame只是Dataset[Row]的一个类型别名。

三、简单使用Spark SQL

（一）了解SparkSession

Spark Shell启动时除了默认创建一个名为sc的SparkContext的实例外，还创建了一个名为spark的SparkSession实例，该spark变量可以在Spark Shell中直接使用。

从Spark2.0以上版本开始, Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。SparkSession实现了SQLContext及HiveContext所有功能。

SparkSession只是在SparkContext基础上的封装，应用程序的入口仍然是SparkContext。SparkSession允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序，支持从不同的数据源加载数据，并把数据转换成DataFrame，然后使用SQL语句来操作DataFrame数据。

（二）准备工作

1、准备数据文件

1,张三,女,20
2,李四,男,18
3,王五,女,21
4,刘六,男,19
5,闪七,男,20

在/home目录里创建student.txt文件
在这里插入图片描述
将student.txt上传到HDFS的/student/input目录
在这里插入图片描述

2、启动Spark Shell

启动Spark Shell，执行命令：spark-shell --master spark://master:7077
在这里插入图片描述

（三）加载数据为Dataset

1、读文件得数据集

调用SparkSession对象的read.textFile()可以读取指定路径中的文件内容，并加载为一个Dataset

执行命令：val ds = spark.read.textFile("hdfs://master:9000/student/input/student.txt")
在这里插入图片描述
从变量ds的类型可以看出，textFile()方法将读取的数据转为了Dataset。除了使用textFile()方法读取文本内容外，还可以使用csv()、jdbc()、json()等方法读取CSV文件、JDBC数据源、JSON文件等数据。(csv: comma separated value)

2、显示数据集内容

执行命令：ds.show
在这里插入图片描述
可以看出，Dataset将文件中的每一行看作一个元素，并且所有元素组成了一列，列名默认为value。

3、显示数据集模式

执行命令：ds.printSchema
在这里插入图片描述
这样的单列数据集显得太粗糙，应该加点元数据信息，让它更精细化。

（四）给数据集添加元数据信息

1、定义学生样例类

定义一个样例类Student，用于存放数据描述信息（Schema）

执行命令：case class Student(id: Int, name: String, gender: String, age: Int)
在这里插入图片描述
基于样例类创建对象很简单，不需要new关键字，只需要传入相应参数即可创建对象
在这里插入图片描述

2、导入隐式转换

导入SparkSession的隐式转换，以便后续可以使用Dataset的算子

执行命令：import spark.implicits._ （_表示implicits包里所有的类，类似于Java里的*）
在这里插入图片描述

3、将数据集转换成学生数据集

调用Dataset的 map() 算子将每一个元素拆分并存入Student 样例对象

执行命令 :paste 进入粘贴模式，然后执行红框类的命令
在这里插入图片描述

val studentDS = ds.map(line => {
      val fields = line.split(",")
      val id = fields(0).toInt
      val name = fields(1)
      val gender = fields(2)
      val age = fields(3).toInt
      Student(id, name, gender, age)
   }
)

4、对学生数据集进行操作

（1）显示数据集内容

执行命令：studentDS.show
在这里插入图片描述
可以看到，studentDS中的数据类似于一张关系型数据库的表。

（2）打印数据集模式

执行命令：studentDS.printSchema
在这里插入图片描述

（3）对数据集进行投影操作

显示学生的姓名和年龄字段，执行命令：studentDS.select(“name”, “age”).show

在这里插入图片描述
对应的SQL语句：select name, age from student

执行命令：studentDS.select(studentDS(“name”), studentDS(“age”) + 1).show
在这里插入图片描述

执行命令：studentDS.select(studentDS(“name”).as(“姓名”), (studentDS(“age”) + 1).as(“年龄”)).show（给字段取别名）
在这里插入图片描述
相当于SQL语句：select name as 姓名, age + 1 as 年龄 from student;

（4）对数据集进行过滤操作

显示女生记录，执行命令：studentDS.filter(“gender == ‘女’”).show
在这里插入图片描述
显示年龄在[19, 20]之间的记录，执行命令：studentDS.filter(“age >= 19 and age <= 20”).show
在这里插入图片描述
如果条件是age <19 or age > 20，那么两个数据集ds1与ds2就应该求并集：ds1.union(ds2)

逻辑运算集合运算
not补集 - complement
and交集 - intersection
or并集 - union
（5）对数据集进行统计操作

求20岁以上的女生人数
在这里插入图片描述
分组统计男女生总年龄，执行命令：studentDS.groupBy(“gender”).sum(“age”).show
在这里插入图片描述

相当于SQL语句：select gender, sum(age) from student group by gender;

分组统计男女生平均年龄：执行命令：studentDS.groupBy(“gender”).avg(“age”).show
在这里插入图片描述

相当于SQL语句：select gender, avg(age) from student group by gender;

分组统计男女生最大年龄，执行命令：studentDS.groupBy(“gender”).max(“age”).show
在这里插入图片描述

相当于SQL语句：select gender, max(age) from student group by gender;

分组统计男女生最小年龄，执行命令：studentDS.groupBy(“gender”).min(“age”).show
在这里插入图片描述相当于SQL语句：select gender, min(age) from student group by gender;

（6）对数据集进行排序操作

按年龄升序排列，执行命令：studentDS.sort(“age”).show
在这里插入图片描述

相当于SQL语句：select * from student order by age; (默认是asc - ascending)

按年龄降序排列，执行命令：studentDS.sort(studentDS(“age”).desc).show
在这里插入图片描述
按年龄降序排列，执行命令：studentDS.sort(desc(“age”)).show
在这里插入图片描述
相当于SQL语句：select * from student order by age desc; (desc - descending)

先按性别升序排列，再按年龄降序排列，执行命令：studentDS.sort(asc(“gender”), desc(“age”)).show
在这里插入图片描述
对应的SQL语句：select * from student order by gender asc, age desc;

（7）重命名数据集字段

执行命令：studentDS.select(studentDS(“id”).as(“学号”), studentDS(“name”).as(“姓名”), studentDS(“gender”).as(“性别”), studentDS(“age”).as(“年龄”)).show
在这里插入图片描述

（五）将数据集转为数据帧

Spark SQL查询的是DataFrame中的数据，因此需要将存有元数据信息的Dataset转为DataFrame。调用Dataset的toDF()方法，将存有元数据的Dataset转为DataFrame。

1、将数据集转为数据帧

将学生数据集转为学生数据帧，执行命令：val studentDF = studentDS.toDF()
在这里插入图片描述

2、对学生数据帧进行操作

（1）显示数据帧内容

显示学生数据帧内容，执行命令：studentDF.show
在这里插入图片描述

（2）显示数据帧模式信息

打印学生数据帧模式信息，执行命令：studentDF.printSchema
在这里插入图片描述

（3）对数据帧进行投影操作

显示学生数据帧姓名与年龄字段，年龄加1，执行命令：studentDF.select(studentDF(“name”), studentDF(“age”) + 1).show
在这里插入图片描述
执行命令：studentDF.select(studentDF(“name”).as(“姓名”), (studentDF(“age”) + 1).as(“年龄”)).show （给字段取别名）
在这里插入图片描述

（4）对数据帧进行过滤操作

查询年龄在19岁以上的记录，执行命令：studentDF.filter(studentDF(“age”) > 19).show
在这里插入图片描述
查询20岁以上的女生记录，执行命令：studentDF.filter(“age > 20 and gender == ‘女’”).show()
在这里插入图片描述

（5）对数据帧进行统计操作

统计学生数据帧总记录数，执行命令：studentDF.count
在这里插入图片描述
分组统计男女生总年龄，执行命令：studentDF.groupBy(“gender”).sum(“age”).show
在这里插入图片描述
分组统计男女生平均年龄，执行命令：studentDF.groupBy(“gender”).avg(“age”).show
在这里插入图片描述
分组统计男女生最大年龄，执行命令：studentDF.groupBy(“gender”).max(“age”).show
在这里插入图片描述
分组统计男女生最小年龄，执行命令：studentDF.groupBy(“gender”).min(“age”).show
在这里插入图片描述
分组统计男女生人数，执行命令：studentDF.groupBy(“gender”).count.show
在这里插入图片描述

（6）对数据帧进行排序操作

对年龄升序排列，执行命令：studentDF.sort(“age”).show
在这里插入图片描述对年龄降序排列，执行命令：studentDF.sort(desc(“age”)).show
在这里插入图片描述
先按性别升序，再按年龄降序，- 执行命令：studentDF.sort(asc(“gender”), desc(“age”)).show
在这里插入图片描述

（7）重命名数据帧字段

执行命令：studentDF.select(studentDF(“id”).as(“学号”), studentDF(“name”).as(“姓名”), studentDF(“gender”).as(“性别”), studentDF(“age”).as(“年龄”)).show
在这里插入图片描述
直接对数据帧进行操作，其实并不是很方便，因此，我们需要基于数据帧创建临时视图，然后对于临时视图就可以进行SQL操作，那样就会十分方便。

（六）基于数据帧进行SQL查询

1、基于数据帧创建临时视图

基于学生数据帧studentDF，创建一个临时视图student，就可以对student视图进行SQL操作

执行命令：studentDF.createTempView(“student”)

如果临时视图存在，使用这个命令就会报错，此时，执行命令：studentDF.createOrReplaceTempView(“student”)，就不会报错

如果指定的视图不存在，那就创建，如果存在，那就替换。

2、使用spark对象执行SQL查询

在Spark Shell环境里，系统已经创建了名为spark的SparkSession对象

spark.sql()方法用于执行一个SQL查询，返回结果是一个数据帧

（1）查询全部表记录

执行命令：spark.sql(“select * from student”).show
在这里插入图片描述

（2）显示数据表结构

执行命令：spark.sql(“describe student”).show
在这里插入图片描述

（3）对表进行投影操作

执行命令：spark.sql(“select name, age + 1 from student”).show
在这里插入图片描述

（4）对表进行选择操作

查询年龄在19岁以上的记录，执行命令：spark.sql(“select * from student where age > 19”).show
在这里插入图片描述
查询20岁以上的女生记录，执行命令：spark.sql(“select * from student where age > 20 and gender = ‘女’”).show
在这里插入图片描述

（5）对表进行统计操作

查询学生表总记录数，执行命令：spark.sql(“select count() count from student").show
在这里插入图片描述分组统计男女生总年龄，执行命令：spark.sql(“select gender, sum(age) from student group by gender”).show
在这里插入图片描述
分组统计男女生平均年龄，执行命令：spark.sql(“select gender, avg(age) from student group by gender”).show
在这里插入图片描述
分组统计男女生最大年龄，执行命令：spark.sql(“select gender, max(age) from student group by gender”).show
在这里插入图片描述
分组统计男女生最小年龄，执行命令：spark.sql(“select gender, min(age) from student group by gender”).show
在这里插入图片描述
分组统计男女生人数，执行命令：spark.sql("select gender, count() count from student group by gender”).show
在这里插入图片描述

（6）对表进行排序操作

按年龄升序排列，执行命令：spark.sql(“select * from student order by age”).show
在这里插入图片描述按年龄降序排列，执行命令：spark.sql(“select * from student order by age desc”).show
在这里插入图片描述
先按性别升序，再按年龄降序，执行命令：spark.sql(“select * from student order by gender asc, age desc”).show
在这里插入图片描述

（7）重命名数据表字段

执行命令：spark.sql(“select id stu_id, name stu_name, gender stu_gender, age stu_age from student”).show
在这里插入图片描述
执行命令：spark.sql(“select id 学号, name 姓名, gender 性别, age 年龄 from student”).show()，无法解析中文别名
在这里插入图片描述

四、练习

成绩表，包含四个字段（姓名、语文、数学、英语），只有三条记录

姓名语文数学英语
张钦林789076
陈燕文958898
卢志刚788060

在/home里创建scores.txt文件

将scores.txt文件上传到HDFS上指定目录

基于scores.txt文件，创建scoreDF数据帧

基于scoreDF数据帧进行下列操作
（1）显示数据帧内容
（2）显示数据帧模式信息
（3）对数据帧进行投影操作
（4）对数据帧进行过滤操作
（5）对数据帧进行统计操作
（6）对数据帧进行排序操作
（7）重命名数据帧字段

基于scoreDF数据帧创建临时表score

基于score数据表进行下列操作
（1）查询全部表记录
（2）显示数据表结构
（3）对表进行投影操作
（4）对表进行选择操作
（5）对表进行统计操作
（6）对表进行排序操作
（7）重命名数据表字段

梁辰兴
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数据库SQL集
m0_46391590的博客
11-07 585
数据库 SQL基础语句 SQL查询条件 SQL字段约束
Spark SQL DataFrame -- 数据帧
pre_tender的博客
08-23 428
文章目录@[toc]1. DataFrame简介2. DataFrame特性3. DataFrame 与RDD 的区别3.1 功能上比较3.2 数据存储结构上比较4. DataFrame的创建4.1 版本1.X4.1.1 版本1.X创建DataFrame4.1.2 版本1.X操作DataFrame4.2 版本2.X4.2.1 版本2.X创建DataFrame 1. DataFrame简介 Data...
本人收集的所有SQL数据集(也是本人从事这么多年的软件开发)
12-03
本人收集的所有SQL数据集(也是本人从事这么多年的软件开发) 有什么问题可以给我发信息
【综述】NL2SQL (一) 简介及数据集
热门推荐
black_soil的专栏
10-30 1万+
目录 简介 1. WikiSQL 2. Spider 3. WikiTableQuestions 4. ATIS 5. 首届中文NL2SQL挑战赛数据集 下载地址 简介 NL2SQL（Natural Language to SQL）是一项将用户的自然语句转为可执行 SQL 语句的技术，对改善用户与数据库之间的交互方式有很大意义。NL2SQL 的本质，是将用户的自然语言语句转化为计...
数据集sql语句写法
weixin_30408739的博客
05-19 235
写法1：直接把变量值包含在sql的表达式中； with frmDataPool.qry用户账号表 do begin Close; SQL.Text:='select * from 用户账号表 where admid = ' + QuotedStr(edtAdmid.Text) + ' AND admps = ' + QuotedStr(edtAdmps.Text); O...
Intro to DataFrames and Spark SQL (training)
12-25
数据帧（DataFrames）与Spark SQL是大数据处理和分析领域中的核心工具，它们在Apache Spark框架内发挥着至关重要的作用。Spark SQL结合了SQL查询语言的便利性和DataFrame的灵活性，使得开发人员能够轻松地处理结构化...
基于hdfs spark的视频非结构化数据计算.zip
06-17
1. **HDFS（Hadoop Distributed File System）**：HDFS是Apache Hadoop项目的核心部分，是一种分布式文件系统，旨在处理和存储大规模的数据集。它的设计目标是高容错性、高吞吐量以及处理PB级别的数据。HDFS将大文件...
niuxinzan.github.io:数据帧，数据集，RDD的Spark演示
04-28
Dataset 是分布式数据集， dataset的API是在spark 1.6版本中添加地，它的初衷是为了提升RDD（强类型限制， 可以使用lambda函数）优化SQL执行引擎。Dataset是JVM中的一个对象，可以作用于其它操作（map,faltMap, ...
GeoMesa Spark.docx
07-10
1. **GeoMesa Spark SQL模块：**这个模块提供了对基于Spark SQL的数据集/DataFrame API的支持，以提供地理空间功能。 2. **自定义地理空间数据类型和函数：**该模块包含自定义的地理空间数据类型和函数，允许在...
大数据技术分享 Spark技术讲座 构建Apache Spark Scaling Out和Up的机器学习算法 共113页.pdf
最新发布
07-18
3. **数据帧(Data Frames)**：数据帧是RDD的一种高级接口，提供了更加结构化的数据访问方式，便于执行SQL查询等操作。 4. **机器学习管道(ML Pipelines)**：一种用于组合多个转换和估计器的方法，从而形成一个完整...
基于spark的电影推荐系统数据集
05-27
基于spark的电影推荐系统数据集
spark数据集spam
05-23
这个是fast_data_processing_with_spark一书第二章用到的数据集
sql遍历全部数据集
weixin_30297281的博客
04-22 364
sql遍历全部数据集 DECLARE @a int set @a = 1 while @a < 5 BEGIN select top(1) * from QPShuGameMatchDB..MatchScoreStatistics where UserID in ( select top (@a) UserID from QPS...
sql遍历所有数据集
liujiayu2的专栏
06-25 1817
sql遍历所有数据集
SQL 汇总数据（聚集函数）
Hern（宋兆恒）
10-09 8944
聚集函数：运行在行组上，计算和返回单个值。 SQL常见的聚集函数 AVG()：返回某列的平均值 COUNT()：返回某列的行数 MAX()：返回某列的最大值 MIN()：返回某列的最小值 SUM()：返回某列值之和 注意：在指定别名以包含某个聚集函数的结果时，不应该用表中实际的列名。虽然这样做合法，但是使用唯一的名字会使你的SQL更容易理解和使用。 AVG()函数的使用（平均值） ...
SQL—如何将数据集分割输出（下）
yanrui3333的博客
07-16 975
SQL—如何将数据集分割输出（下） 情况一：单纯的将数据集分割成.del文件 /*cnt:分割后每个数据包需要有多少条数据；table:需要分割的数据集*/ %macro output_fenge(cnt,table); proc sql; /*i_count:需要分割的数据集的总数据量*/ select count(*) into:i_count from &ta...
Spark SQL数据倾斜解决方案与实战
"Spark SQL 数据倾斜处理" Spark SQL 是 Apache Spark 的一个组件，它提供了一种用于处理结构化数据的高级接口。数据倾斜是大数据处理中的一个常见问题，它发生在数据在执行分布式操作（如JOIN、GROUP BY或SHUFFLE...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梁辰兴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值