Spark（三）— Spark SQL

已于 2022-07-12 14:24:40 修改
阅读量2.2k 收藏 5
点赞数 1
分类专栏： 大数据框架 文章标签： spark sql big data
于 2022-05-01 12:09:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ks_1998/article/details/124125390
版权

Spark（三）— Spark SQL

一.简介

Spark SQL是Spark 用于结构化数据处理的Spark 模块，Spark SQL 简化RDD的开发， 提高开发效率，提供了 2 个编程抽象（DataFrame和DataSet，下文具体讲）

关于SparkSession

Spark Core 中，如果想要执行应用程序，需要首先构建上下文环境对象 SparkContext

SparkSession是Spark最新的SQL查询起始点，SparkSession内部封装了SparkContext，所以计算实际上是由 sparkContext完成的

当我们使用spark-shell的时候，spark框架会自动的创建一个名称叫做spark的SparkSession对象，就像我们以前可以自动获取到一个sc来表示 SparkContext对象一样

总结：Spark SQL中SparkSession对象类比与Spark Core中的SparkContext，它是我们Spark SQL查询的起始点

特点

  • 易整合
    无缝的整合了 SQL 查询和 Spark 编程

  • 统一的数据访问
    使用相同的方式连接不同的数据源

  • 兼容 Hive
    在已有的仓库上直接运行 SQL 或者 HiveQL

  • 标准数据连接
    通过 JDBC 或者 ODBC 来连接

在这里插入图片描述

二.DataFrame和DataSet

2.1 搭建IDEA环境

使用IDEA环境测试
导入相关依赖

导入相关依赖

```xml
<properties>
    <encoding>UTF-8</encoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <scala.version>2.12.11</scala.version>
    <spark.version>3.0.1</spark.version>
    <hadoop.version>2.7.5</hadoop.version>
</properties>



<dependencies>
   <!--依赖Scala语言-->
   <dependency>
       <groupId>org.scala-lang</groupId>
       <artifactId>scala-library</artifactId>
       <version>${scala.version}</version>
   </dependency>

   <!--SparkCore依赖-->
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-core_2.12</artifactId>
       <version>${spark.version}</version>
   </dependency>

   <!-- spark-streaming-->
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-streaming_2.12</artifactId>
       <version>${spark.version}</version>
   </dependency>

   <!--SparkSQL依赖-->
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-sql_2.12</artifactId>
       <version>${spark.version}</version>
   </dependency>

   <!-- SparkMlLib机器学习模块,里面有ALS推荐算法-->
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-mllib_2.12</artifactId>
       <version>${spark.version}</version>
   </dependency>

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>${hadoop.version}</version>
   </dependency>

</dependencies>

获取SparkSession的上下文

val conf: SparkConf = new SparkConf().setAppName("SQL").setMaster("local[*]")
val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()

....

spark.close()
2.2 概念

在 Spar 中，DataFrame 是一种以RDD 为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有schema元信息，即 DataFrame所表示的二维表数据集的每一列都带有名称和类型

在这里插入图片描述

左侧的 RDD[Person]虽然以 Person 为类型参数，但 Spark 框架本身不了解Person 类的内部结构。而右侧的DataFrame 却提供了详细的结构信息，使得 Spark SQL 可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么

DataFrame 是为数据提供了 Schema 的视图。可以把它当做数据库中的一张表来对待

总结：DF包含了数据的元信息，即数据的名称和类型，同时提供了一种视图的机制让我们知道具体的数据

2.3 基本SQL操作

查看 Spark 支持创建文件的数据源格式

输入spark.read. + Tab键，我们发现支持多种数据源
在这里插入图片描述
①读取数据源的数据

我们以json文件的读取为例
在这里插入图片描述

val df: DataFrame = spark.read.json("data/user.json")
// 查看df的元信息
df.printSchema()
// df的数据
df.show()

在这里插入图片描述

可以看到，DataFrame带有schema元信息，即DataFrame 所表示的二维表数据集的每一列都带有名称和类型

②创建视图

现在可以看到，我们获得的DF里面是实际的数据，那我们应该怎么操作这些数据呢？

创建一个作用域在当前连接的视图

df.createOrReplaceTempView("user")

val user: Unit = df.createOrReplaceTempView("user")

然后我们就可以用saprk.sql("sql")来执行操作了

spark.sql("select * from user where age > 20").show

在这里插入图片描述

③创建全局表

val emp: Unit = df.createGlobalTempView("emp")

新会话查询

注意：global_temp关键字不可省略

spark.newSession().sql("SELECT * FROM global_temp.emp").show()

在这里插入图片描述
ETiBA5oOz5YW75Liq5aSn6LGh,size_20,color_FFFFFF,t_70,g_se,x_16)

④查看当前已经生成的视图

spark.catalog.listTables().show()
2.4 DSL语法

DataFrame提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。可以在 Scala, Java, Python 和 R 中使用 DSL，使用 DSL 语法风格不必去创建临时视图了

①查看某一列

df.select("age").show()

②涉及字段运算

涉及到运算的时候, 每列都必须使用$, 或者采用引号表达式：单引号+字段名，并且要导入spark下的转换包

import spark.implicits._
df.select('age + 1,'name,'address).show()

在这里插入图片描述

③RDD算子的使用

import spark.implicits._
df.filter('age > 20).show()

在这里插入图片描述

2.5. RDD、DF、DS转换

DataSet 是分布式数据集合。DataSet是Spark 1.6中添加的一个新抽象，是DataFram

的一个扩展。它提供了RDD的优势（强类型，使用强大的 lambda 函数的能力）以及Spark

SQL优化执行引擎的优点。DataSet 也可以使用功能性的转换，操作 map，flatMap，filter

DataFrame就是特定泛型的DataSet，看图就明白了

在这里插入图片描述

// RDD <=> DF
val rdd: RDD[(Int, String, Int)] = sc.makeRDD(List((1, "zhang", 18), (2, "liu", 36)))
val df: DataFrame = rdd.toDF("id", "name", "age")
val rdd1: RDD[Row] = df.rdd

// DF <=> DS
val ds: Dataset[User] = df.as[User]
val df1: DataFrame = ds.toDF()

// RDD <=> DS
val ds1: Dataset[User] = rdd.map {
  case (id, name, age) => {
    User(id, name, age)
  }
}.toDS()

val rdd2: RDD[Row] = df1.rdd


case class User(id : Int,name:String,age :Int)

三.常用函数

3.1 UDF函数

UDF:User-Defined Functions，主要用来对列进行一些简单操作

spark.udf.register(“函数名”,(参数:参数类型) =>{
返回
})

val df: DataFrame = spark.read.json("data/user.json")

spark.udf.register("udfName",(str:String) =>{
  "udf  " + str
})

val user: Unit = df.createOrReplaceTempView("user")

spark.sql("select age,udfName(name) from user").show()

在这里插入图片描述

3.2 UDAF

自定义聚合函数

1.先继承Aggregator，需要三个泛型

  • IN 输入的数据类型
  • BUF 缓冲区数据类型（一般用样例类来作为参数）
  • OUT 输出的数据类型
    2.重写方法
    3.使用udf声明方法
    4.使用

具体看两个示例，SUM和AVG聚合函数的书写！

object UDAF {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("SQL").setMaster("local[*]")
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    import spark.implicits._


     val df: DataFrame = spark.read.json("data/user.json")
    

     val user: Unit = df.createOrReplaceTempView("user")
    // 聚合函数AVG
    spark.udf.register("avg",functions.udaf(new MyAvg()))
    spark.sql("select avg(age) from user").show
    // 聚合函数SUM
    spark.udf.register("sum",functions.udaf(new MySUM()))
    spark.sql("select sum(age) from user").show




    spark.close()
  }

  /**
   * IN 输入的数据类型
   * BUF 缓冲区数据类型
   * OUT 输出的数据类型
   * AVG 聚合函数
   */
  case class Buff(var total:Long,var count :Long)
  class MyAvg extends Aggregator[Long,Buff,Long]{
    // 缓冲区初始化
    override def zero: Buff = {
      Buff(0L,0L)
    }
    // 根据输入的数据更新缓冲区的数据
    override def reduce(buff: Buff, in: Long): Buff = {
      buff.total = buff.total + in
      buff.count = buff.count + 1
      buff
    }
    // 合并缓冲区
    override def merge(b1: Buff, b2: Buff): Buff = {
      b1.total = b1.total + b2.total
      b1.count = b1.count + b2.count
      b1
    }
    // 计算
    override def finish(reduction: Buff): Long ={
      reduction.total / reduction.count
    }
    // 固定 若是自定义的类，则是Encoders.product
    override def bufferEncoder: sql.Encoder[Buff] = Encoders.product

    override def outputEncoder: sql.Encoder[Long] = Encoders.scalaLong
  }

  // 聚合函数 SUM
  case class Buff2(var total:Long)
  class MySUM extends Aggregator[Long,Buff2,Long] {
    override def zero: Buff2 = {
      Buff2(0L)
    }

    override def reduce(b: Buff2, a: Long): Buff2 = {
      b.total = b.total + a
      b
    }

    override def merge(b1: Buff2, b2: Buff2): Buff2 = {
      b1.total = b1.total + b2.total
      b1
    }

    override def finish(reduction: Buff2): Long = {
      reduction.total
    }

    override def bufferEncoder: sql.Encoder[Buff2] = Encoders.product

    override def outputEncoder: sql.Encoder[Long] = Encoders.scalaLong
  }
  
}

在这里插入图片描述

四.数据读取和保存

4.1 基本读取和保存

读取

spark有很多种文件读取方式，SparkSQL默认读取和保存的文件格式为 parquet
在这里插入图片描述
load是加载数据的通用方法

一般是这样用的：

spark.read.format(“…”)[.option(“…”)].load(“…”)

format指定加载的数据类型，包括csv、jdbc、json、orc、parquet和
textFile

但是前面也提到了，如果读json文件

直接spark.read.json(path) 更加简洁

Spark 读取的JSON 文件不是传统的JSON 文件，每一行都应该是一个 SON串

保存

df.write.format(“…”)[.option(“…”)].save(“…”)

format(“…”)：指定保存的数据类型，包括csv、jdbc、json、orc、parquet和
textFile

save (“…”)：在csv、orc、parquet和textFile格式下需要传入保存数据的路径

option(“…”)：在jdbc格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable

val conf: SparkConf = new SparkConf().setAppName("SQL").setMaster("local[*]")
val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
import spark.implicits._

val frame: DataFrame = spark.read.json("data/user.json")

frame.show()

frame.write.format("json").save("output")

保存操作可以使用SaveMode, 用来指明如何处理数据，使用mode()方法来设置

frame.write.format(“json”).mode(X).save(“output”)

X可以是append、overwrite、ignore

若文件存在，append会再写一个文件。overwrite是覆盖、ignore忽略

4.2 MySQL

导入MySQL依赖

<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>5.1.27</version>
</dependency>

object MySQLTest {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("SQL").setMaster("local[*]")
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    import spark.implicits._


    val df: DataFrame = spark.read.format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/hadoop?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "zks123456")
      .option("dbtable", "student")
      .load()

    df.show()


    df.write
      .format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/hadoop?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8")
      .option("user", "root")
      .option("password", "zks123456")
      .option("dbtable", "student_spark")
      .mode(SaveMode.Append)
      .save()


    spark.close()
  }

}

在这里插入图片描述
在这里插入图片描述

Jumanji_
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark SQL
weixin_67024075的博客
07-03 1418
在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext，用于连接Hive的查询，SparkSession是Spark最新的SQL查询起始点，实质上是。（开发封装平台很有用哦！Spark SQL可以将针对DataFrame/Dataset的各类SQL运算，翻译成RDD的各类算子执行计划，从而大大简化数据运算编程（请联想Hive），它可以理解为一个基于RDD数据模型的更高级数据模型，带有结构化元信息（schema），
Spark Sql中时间字段少8个小时问题解决
02-28
### Spark SQL 中时间字段少8个小时问题解决 #### 问题背景 在进行数据处理时，尤其是在涉及时间戳字段转换的过程中，经常会遇到时区问题。本文将详细探讨在使用Spark SQL处理Hive表中的时间戳字段时，遇到的时间...
Atlas Spark SQL血缘分析，Hive Hook
最新发布
05-25
4. **执行Spark SQL操作**：当Spark SQL通过Hive接口执行DML（Data Manipulation Language）或DDL（Data Definition Language）操作时，Hive Hook会捕获这些操作的元数据变更。 5. **血缘信息收集和存储**：捕获的...
Spark SQL 实验
08-27
Spark SQL是Apache Spark的一个模块，它提供了对结构化数据的查询和处理能力。它允许用户使用SQL查询语言对分布式数据集进行查询和分析。Spark SQL不仅支持SQL标准，还支持 HiveQL，同时兼容Hive的表和UDF（用户定义...
Learning Spark SQL epub
10-06
Learning Spark SQL 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
spark sql解析-源码分析
03-16
Spark SQL是Apache Spark项目的一部分，它是处理SQL查询和数据集成的强大工具。Spark SQL结合了DataFrame API和传统的SQL接口，使得开发人员可以灵活地在结构化和半结构化数据上进行高性能计算。在这个源码分析中，...
spark-3 Spark SQL
xfysq_的博客
03-23 356
Spark SQL
[大数据]Spark(3)SparkSQL(1)
RegulusF的博客
07-23 348
1. SparkSQL概述 1.1 SparkSQL Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息去做一些额外的优化，有多种方式与Spark SQL进行交互，比如: SQL和DatasetAPI。 当计算结果的时候，使用的是相同的执行引擎，不依赖你正在使用哪种API或者语言。这
SparkSQL
我的笔记
02-23 8426
大数据自学笔记——spark学习笔记
Spark Sql
m0_57320261的博客
11-23 324
一、概述 SparkSql是什么 Spark SQL是Spark处理数据的一个模块 专门用来处理结构化数据的模块，像json，parquet，avro，csv，普通表格数据等均可。 与基础RDD的API不同，Spark SQL中提供的接口将提供给更多关于结构化数据和计算的信息，并针对这些信息，进行额外的处理优化。 SparkSql操作方式说明 SparkSql shell 类似于hive shell DataFrames API 最早专为sql on spark设计的数
Intel Spark SQL的自适应执行引擎优化
"Spark Adaptive Execution 是Intel Spark团队推出的一种针对Spark SQL的优化执行引擎，旨在自动获取最佳执行计划，以提升Spark SQL的性能。" 在Spark SQL中，自适应执行引擎（Adaptive Execution, AE）是一项重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jumanji_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值