大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例

已于 2024-08-22 09:18:54 修改
阅读量3.3k 收藏 17
点赞数 18
分类专栏： 大数据 Spark 文章标签： 大数据 spark 分布式 scala java
于 2024-08-22 09:13:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w776341482/article/details/141411696
版权
大数据 同时被 2 个专栏收录
155 篇文章 16 订阅
订阅专栏
Spark
27 篇文章 0 订阅
订阅专栏

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（正在更新！）

章节内容

上节完成的内容如下：

  • SparkSession
  • RDD、DataFrame、DataSet
  • 三者之间互相转换 详细解释
    在这里插入图片描述

核心操作

Transformation（转换操作）

定义：
Transformation是懒执行的操作，意味着这些操作在调用时并不会立即执行计算，而是会生成一个新的数据集（或RDD），它们描述了从输入数据到输出数据的转换逻辑。Transformation的计算会被延迟，直到遇到一个Action操作时才会真正触发执行。

常见操作：

  • select(): 从DataFrame中选择列。
  • filter(): 过滤掉不符合条件的行。
  • join(): 连接两个DataFrame。
  • groupBy(): 对数据进行分组。
  • agg(): 聚合操作。

Action（行动操作）

定义：
Action操作会触发Spark的计算并返回结果。与Transformation不同，Action操作会执行整个计算逻辑，并产生最终的输出，如将结果写入外部存储或将数据返回给驱动程序。

常见操作：

  • show(): 显示DataFrame的内容。
  • collect(): 将DataFrame的数据收集到驱动程序上，作为本地集合返回。
  • count(): 计算DataFrame中的行数。
  • write(): 将DataFrame的数据写入外部存储（如HDFS、S3、数据库等）。
  • take(): 返回DataFrame的前n行数据。

Action操作

与RDD类似的操作

  • show
  • collect
  • collectAsList
  • head
  • first
  • count
  • take
  • takeAsList
  • reduce

与结构相关

  • printSchema
  • explain
  • columns
  • dtypes
  • col

生成数据

保存并上传到服务器上

EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,COMM,DEPTNO
7369,SMITH,CLERK,7902,2001-01-02 22:12:13,800,,20
7499,ALLEN,SALESMAN,7698,2002-01-02 22:12:13,1600,300,30
7521,WARD,SALESMAN,7698,2003-01-02 22:12:13,1250,500,30
7566,JONES,MANAGER,7839,2004-01-02 22:12:13,2975,,20
7654,MARTIN,SALESMAN,7698,2005-01-02 22:12:13,1250,1400,30
7698,BLAKE,MANAGER,7839,2005-04-02 22:12:13,2850,,30
7782,CLARK,MANAGER,7839,2006-03-02 22:12:13,2450,,10
7788,SCOTT,ANALYST,7566,2007-03-02 22:12:13,3000,,20
7839,KING,PRESIDENT,,2006-03-02 22:12:13,5000,,10
7844,TURNER,SALESMAN,7698,2009-07-02 22:12:13,1500,0,30
7876,ADAMS,CLERK,7788,2010-05-02 22:12:13,1100,,20
7900,JAMES,CLERK,7698,2011-06-02 22:12:13,950,,30
7902,FORD,ANALYST,7566,2011-07-02 22:12:13,3000,,20
7934,MILLER,CLERK,7782,2012-11-02 22:12:13,1300,,10

写入内容如下图所示：
在这里插入图片描述

测试运行

我们进入 spark-shell 进行测试

// 处理头，使用自动类型推断
val df1 = spark.read.option("header", true).option("infershema", "true").csv("test_spark_03.txt")

df1.count
// 缺省显示20行
df1.union(df1).show()
// 显示2行
df1.show(2)

执行结果如下图所示：
在这里插入图片描述
继续进行测试：

// 不截断字符
df1.toJSON.show(false)
// 显示10行 不截断字符
df1.toJSON.show(10, false)

运行结果如下图所示：
在这里插入图片描述
继续进行测试：

// collect 返回数组 Array[Row]
val c1 = df1.collect()
// collectAsList 返回List Lits[Row]
val c2 = df1.collectAsList()

// 返回 Row
val h1 = df1.head()
val f1 = df1.first()

// 返回 Array[Row]
val h2 = df1.head(3)
val f2 = df1.take(3)

// 返回 List[Row]
val t2 = df1.takeAsList(2)

运行结果如下图所示：
在这里插入图片描述
继续进行测试：

// 结构属性
// 查看列名
df1.columns
// 查看列名和类型
df1.dtypes
// 查看执行计划
df1.explain()
// 获取某个列
df1.col("ENAME")
// 常用
df1.printSchema

运行结果如下图所示：
在这里插入图片描述

Transformation 操作

  • RDD 类似的操作
  • 持久化/缓存 与 checkpoint
  • select
  • where
  • group by / 聚合
  • order by
  • join
  • 集合操作
  • 空值操作（函数）
  • 函数

与RDD类似的操作

  • map
  • filter
  • flatMap
  • mapPartitions
  • sample
  • randomSplit
  • limt
  • distinct
  • dropDuplicates
  • describe

我们进行测试：

val df1 = spark.read.csv("/opt/wzk/data/people1.csv")
// 获取第1列
df1.map(row => row.getAs[String](0)).show

// randomSplit 将DF、DS按给定参数分成多份
val df2 = df1.randomSplit(Array(0.5, 0.6, 0.7))
df2(0).count
df2(1).count
df2(2).count

测试结果如下图：
在这里插入图片描述

我们继续进行测试：

// 取10行数据生成新的Dataset
val df2 = df1.limit(10)
// distinct 去重
val df2 = df1.union(df1)
df2.distinct.count

// dropDuplicates 按列值去重
df2.dropDuplicates.show
df2.dropDuplicates("_c0").show

执行结果如下图：
在这里插入图片描述

存储相关

  • cacheTable
  • persist
  • checkpoint
  • unpersist
  • cache

备注：Dataset默认的存储级别是 MEMEORY_AND_DISK

spark.sparkContext.setCheckpointDir("hdfs://h121.wzk.icu:9000/checkpoint")

df1.show()
df1.checkpoint()
df1.cache()

import org.apache.spark.storage.StorageLevel
df1.persist(StorageLevel.MEMORY_ONLY)
df1.count()
df1.unpersist(true)

执行结果如下图所示：
在这里插入图片描述

select相关

  • 列的多种表示
  • select
  • selectExpr

启动 Spark-Shell 继续进行测试

// 这里注意 option("header", "true") 自动解析一下表头
val df1 = spark.read.option("header", "true").csv("/opt/wzk/data/people1.csv")

// $ col() 等等 不可以混用！！！（有解决方法，但是建议不混用！！！）
// 可以多种形式获取到列
df1.select($"name", $"age", $"job").show

执行结果如下图所示：
在这里插入图片描述

继续进行测试

df1.select("name", "age", "job").show(3)
df1.select(col("name"), col("age"), col("job")).show(3)
df1.select($"name", $"age"+1000, $"job").show(5)

运行结果如下图所示：
在这里插入图片描述

where相关

接着对上述内容进行测试：

df1.filter("age > 25").show
df1.filter("age > 25 and name == 'wzk18'").show
df1.where("age > 25").show
df1.where("age > 25 and name == 'wzk19'").show

运行测试结果如下图：
在这里插入图片描述

groupBy相关

  • groupBy
  • agg
  • max
  • min
  • avg
  • sum
  • count

进行测试：

// 由于我的字段中没有数值类型的，就不做测试了
df1.groupBy("Job").sum("sal").show
df1.groupBy("Job").max("sal").show
df1.groupBy("Job").min("sal").show
df1.groupBy("Job").avg("sal").show
df1.groupBy("Job").count.show
df1.groupBy("Job").avg("sal").where("avg(sal) > 2000").show
df1.groupBy("Job").avg("sal").where($"avg(sal)" > 2000).show
df1.groupBy("Job").agg("sal"->"max", "sal"->"min", "sal"-
>"avg", "sal"->"sum", "sal"->"count").show
df1.groupBy("deptno").agg("sal"->"max", "sal"->"min", "sal"-
>"avg", "sal"->"sum", "sal"->"count").show

orderBy相关

orderBy == sort

df1.orderBy("name").show(5)
df1.orderBy($"name".asc).show(5)
df1.orderBy(-$"age").show(5)

运行测试的结果如下图所示：
在这里插入图片描述
继续进行测试：

df1.sort("age").show(3)
df1.sort($"age".asc).show(3)
df1.sort(col("age")).show(3)

测试结果如下图所示：
在这里插入图片描述

JOIN相关

// 笛卡尔积
df1.crossJoin(df1).count
// 等值连接（单字段）
df1.join(df1, "name").count
// 等值连接（多字段）
df1.join(df1, Seq("name", "age")).show

运行的测试结果如下图所示：
在这里插入图片描述

这里编写两个case：


// 第一个数据集
case class StudentAge(sno: Int, name: String, age: Int)

val lst = List(StudentAge(1,"Alice", 18), StudentAge(2,"Andy", 19), StudentAge(3,"Bob", 17), StudentAge(4,"Justin", 21), StudentAge(5,"Cindy", 20))

val ds1 = spark.createDataset(lst)

// 第二个数据集
case class StudentHeight(sname: String, height: Int)

val rdd = sc.makeRDD(List(StudentHeight("Alice", 160), StudentHeight("Andy", 159), StudentHeight("Bob", 170), StudentHeight("Cindy", 165), StudentHeight("Rose", 160)))

val ds2 = rdd.toDS

运行测试的结果如下图所示：
在这里插入图片描述
接下来我们进行连表操作：

// 连表操作 不可以使用 "name"==="sname" !!!
ds1.join(ds2, 'name==='sname).show
ds1.join(ds2, ds1("name")===ds2("sname")).show
ds1.join(ds2, $"name"===$"sname").show
ds1.join(ds2, $"name"===$"sname", "inner").show

测试的运行结果如下图所示：
在这里插入图片描述

在这里插入图片描述

集合相关

val ds3 = ds1.select("name")
val ds4 = ds2.select("sname")

// union 求并集、不去重
ds3.union(ds4).show
// unionAll(过时了)与union等价
// intersect 求交
ds3.intersect(ds4).show
// except 求差
ds3.except(ds4).show

运行结果如下图所示：
在这里插入图片描述

空值处理

math.sqrt(-1.0)
math.sqrt(-1.0).inNaN()
df1.show
// 删除所有列的空值和NaN
df1.na.drop.show
// 删除某列的空值和NaN
df1.na.drop(Array("xxx")).show
// 对列进行填充
df1.na.fill(1000).show
df1.na.fill(1000, Array("xxx")).show
武子康
关注
专栏目录
spark-SQL-Transform
互联网知识分享
05-15 234
如果代码计算的结果不输出到数据库，比如输出离线文件excel，而且需要中文含义的字段，可以用 DF.withColumnRenamed("name",姓名)。当数据涉及的字段里是个数组或集合等情况下(这种情况一般是发生在noSQL数据库或json格式的数据)，可以使用下面的操作来提取数据。不同的两个表的不同字段的连接，以studnetDS("字段1")===courseDS("字段2")为判断条件。如果这个字段里面是的值是：值是数组就用索引提取、值是Map就用key提取、值是Struct就用字段提取。
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
最新发布
永远好奇，无限进步！
08-22 5747
上节研究了SparkSQL的核心操作，Action详细解释+测试案例，与Transformation详细解释+测试案例。本节研究SparkSQL的数据源操作，输入与输出数据。df.write.format(“jdbc”).option(“url”, “jdbc:mysql://host/db”).option(“dbtable”, “table”).option(“user”, “username”).option(“password”, “password”).save()
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解
永远好奇，无限进步！
08-15 4389
上节Spark的RDD介绍、RDD特点、Spark编程模型。本节研究SparkRDD的创建，RDD-Transformation操作算子，并附带测试案例，详细过程。转换得到RDD是惰性求值，也就是说，整个转换过程只有记录了转换的轨迹，并不会发生真正的计算，只有遇到Action操作时，才会发生真正的计算，开始从学院关系（lineage）源头开始，进行物理的转换操作。SparkContext是编写Spark程序用到的第一个类，是Spark的主要入口点，它负责和整个集群的交互。
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
永远好奇，无限进步！
08-19 3685
上节研究了Spark的RDD的Super Word Count程序，实现了将计算结果写入到MySQL中。本节研究Spark的高阶编码、RDD的依赖关系，RDD的持久化、RDD的缓存机制。RDD任务切分中间分为：Driver program、Job、Stage(TaskSet) 和 Task。Driver program：初始化一个SparkContext即生成一个Spark应用。Job：一个Action算子就会生成一个Job。
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
永远好奇，无限进步！
08-16 4343
上节完成了SparkRDD的创建，从集合、文件、RDD创建 RDD的方式，并且详细介绍了 Transformation的操作内容。本节研究Spar的RDD的Action、Key-Value RDD。都需要先把文件当做普通文件来读取数据，然后通过将每一行进行解析实现对CSV的提取。通过 objectFile 接收一个路径，读取对象文件，返回对应的RDD，也可以通过调用saveAsObjectFile() 实现对对象文件的输出。
sparkSQL-Transform
互联网知识分享
07-31 486
的原理是通过使用用户定义的函数（UDF）或用户定义的窗口函数（UDWF）来转换DataFrame中的数据。它支持两种模式：批处理和流处理。下面是的工作原理：1.批处理模式：在批处理模式下，将DataFrame分解为一组分区，并为每个分区调用用户定义的函数。分区之间的转换是并行执行的，因此可以获得更高的性能。2.流处理模式：在流处理模式下，将DataFrame分解为一系列微批次，并为每个微批次调用用户定义的函数。微批次之间的转换是顺序执行的，因此可以确保数据的一致性。
Spark ML机器学习：SQLTransformer
大模型大数据攻城狮的专栏
02-14 880
我们都很喜欢sql语句，简单好用又熟悉，那么Spark ML很人性化的为我们提供了SQLTransformer类，使得我们能用我们熟悉的SQL来做特征转化。它支持SparkSql中的所有select选择语句,sum(),count(),group by,order by等等都可以用！形如”SELECT …FROM __THIS__”。’__THIS__’代表输入数据的基础表。 SQLTransf...
Spark SQL(二) DataFrames相关的Transformation操作
the_conquer_zzy的专栏
05-02 595
Spark SQL(二) DataFrames相关的Transformation操作 DataFrames是不可变的，且与其相关的Transformation操作和RDD的相关操作一样都是返回一个新的DataFrame. DataFrames Transformations select selectExpr filter/where distinct/dropDuplicates sort/o...
spark transform系列__join
隔壁老杨的专栏
01-28 1910
Join Join包含有join,fullOuterJoin,leftOuterJoin,rightOuterJoin四种实现, 下面先根据join的实现流程进行分析,再对join分析的结果的基础上,最后根据后面三种join的实现,说明下这几种JOIN的差别所在. Join的函数中,需要一个Partitioner的实例,默认是HashPartitioner,join的实现中,是直接通过调用 
完整版大数据课件集合12-大数据导论-第十二章-Spark（共22页）.ppt
08-21
Spark的计算过程由一系列转换（Transformation）和动作（Action）组成，形成DAG任务，这些任务由Spark Scheduler根据资源状况进行调度和执行。此外，Spark还支持Spark Standalone、YARN、Mesos等多种集群管理器，以...
大数据--Spark简介
LV_ZFG的博客
08-21 2545
在刚接触大数据的时候，我们主要接受的是关于hadoop的相关知识，虽然比较浅显，但是基本介绍了hadoop每一个过程或者组建的运行的原理以及架构，包括优缺点以及他的使用场景，例如hdfs、mapreduce、zookeeper以及hive、hbase等，但是，在这之后，为了满足大数据的增长需求以及更好的对数据进行处理得到数据中的有用信息，很多的时间场景下，Hadoop的计算速度以及模式已经不能完全...
Spark--------------------------sparkSQL知识点总结与hive类比
weixin_43740680的博客
08-08 337
1.spark模块 spark Core类比于MapReduce框架，对海量数据进行分析处理，分布式（并行计算） 核心：数据结构： RDD（弹性分布式数据集） a.转换函数 transformation 调用函数之后，将一个RDD转成另外一个RDD . b.Action函数 触发一个Job的执行 （1）将分析结果返回给Driver count，first，take，collec...
spark学习之 action 与 transformation 比较
威少（微笑）
04-25 3235
目录 一：action 与 transformation 的区别 二：action 与transformation 算子的捉对比较 一：action 与 transformation 的区别 1.RDD 的操作： （1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD 常见：数据之间...
大数据-计算引擎-Spark（三）：RDD编程【离线分析；替代MapReduce编程，使用RDD(弹性分布式数据集)编程；处理非结构化数据；RDD操作算子：transformation、Action】
u013250861的博客
01-12 1183
大数据-计算引擎-Spark：Spark编程
【Spark ML系列】中的SQLTransformer场景用法示例源码解析
wang2leee的博客
09-08 137
`SQLTransformer`实现了由SQL语句定义的转换。
Spark Sql 复杂类型高阶函数
偷闲小苑
04-03 3851
文章目录背景1. 只使用 sql 实现2. 使用 udf 的方式3. 使用高阶函数的方式使用Array 高阶函数1. transform2. filter3. exists4. aggregate5. zip_with复杂类型内置函数总结参考 spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，...
Spark转换（transform）与动作（action）一览
CalicoBox的博客
08-04 3800
【说的很特么抽象，能看得懂算你厉害啊，所以代码详解：一个Spark Demo与代码详解 以下func，大部分时候为了让逻辑更清楚，推荐使用匿名函数！（lambda）】 【ps：java和python的api是一样的，名字和参数没有变化】 转换 含义 map(func) 每一个输入元素经过func函数转换后输出一个元素 fil
Spark中RDD的transformation&action
weixin_34376562的博客
06-21 178
2019独角兽企业重金招聘Python工程师标准>>> ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

武子康

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值