Spark SQL

一、DataFrame与DataSet

1.1 DataFrame

可以简单的理解DataFrame为RDD+schema元信息

在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似传统数据库的二维表格

DataFrame带有schema元信息，DataFrame所表示的数据集每一列都有名称和类型，DataFrame可以从很多数据源构建对象，如已存在的RDD、结构化文件、外部数据库、Hive表。

RDD可以把内部元素当成java对象，DataFrame内部是一个个Row对象，表示一行行数据

左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解Person类的内部结构。

右侧的DataFrame却提供了详细的结构信息，DataFrame多了数据的结构信息，即schema。

1.2 DataSet

DataSet是分布式的数据集合，DataSet提供了强类型支持，在RDD的每行数据加了类型约束

Dataset是在spark1.6中新添加的接口。它集中了RDD的优点（强类型和可以使用强大的lambda函数）以及使用了sparkSQL优化的执行引擎。

DataFrame（在2.X之后）实际上是DataSet的一个特例，即对Dataset的元素为Row时起了一个别名

二、DSL操作

2.1 action

show以表格的形式在输出中展示 jdbcDF 中的数据，类似于 select * from spark_sql_test 的功能。

功能

show只显示前20条记录

show(numRows: Int) 显示 numRows 条

show(truncate: Boolean) 是否最多只显示20个字符，默认为 true 。

show(numRows: Int, truncate: Boolean) 综合前面的显示记录条数，以及对过长字符串的显示格式。

collect方法会将 jdbcDF 中的所有数据都获取到，并返回一个 Array 对象。

collectAsList：获取所有数据到List 

describe(cols: String*)：获取指定字段的统计信息

first, head, take, takeAsList：获取若干行记录

（1）first 获取第一行记录

（2）head 获取第一行记录， head(n: Int) 获取前n行记录

（3）take(n: Int) 获取前n行数据

（4）takeAsList(n: Int) 获取前n行数据，并以 List 的形式展现

2.2 查询

where(conditionExpr: String) ：SQL语言中where关键字后的条件

可以用 and 和 or 。得到DataFrame类型的返回结果

filter：根据字段进行筛选

得到DataFrame类型的返回结果。和 where 使用条件相同

select：获取指定字段值

根据传入的 String 类型字段名，获取指定字段的值，以DataFrame类型返回

selectExpr ：可以对指定字段进行特殊处理

可以直接对指定字段调用UDF函数，或者指定别名等。传入 String 类型参数，得到DataFrame对象。

col：获取指定字段

只能获取一个字段，返回对象为Column类型。

apply：获取指定字段

只能获取一个字段，返回对象为Column类型

drop：去除指定字段，保留其他字段

返回一个新的DataFrame对象，其中不包含去除的字段，一次只能去除一个字段。

2.3 Limit

limit方法获取指定DataFrame的前n行记录，得到一个新的DataFrame对象。

3.4 排序

orderBy 和 sort ：按指定字段排序，默认为升序

按指定字段排序。加个 - 表示降序排序。 sort 和 orderBy 使用方法相同

jdbcDF.orderBy(- jdbcDF("c4")).show(false)

jdbcDF.orderBy(jdbcDF("c4").desc).show(false)

sortWithinPartitions

和上面的 sort 方法功能类似，区别在于 sortWithinPartitions 方法返回的是按Partition排好序的DataFrame对象。

2.5 组函数

groupBy ：根据字段进行 group by 操作

groupBy 方法有两种调用方式，可以传入 String 类型的字段名，也可传入 Column 类型的对象

cube 和 rollup ：group by的扩展

功能类似于 SQL 中的 group by cube/rollup

groupedData对象      

该方法得到的是 GroupedData 类型对象，在 GroupedData 的API中提供了 group by 之后的操作

 2.6 去重

distinct ：返回一个不包含重复记录的DataFrame

返回当前DataFrame中不重复的Row记录。该方法和接下来的 dropDuplicates() 方法不传入指定字段时的结果相同。

dropDuplicates ：根据指定字段去重

根据指定字段去重。类似于 select distinct a, b 操作

2.7 聚合

聚合操作调用的是 agg 方法，该方法有多种调用方式。一般与 groupBy 方法配合使用。

以下示例其中最简单直观的一种用法，对 id 字段求最大值，对 c4 字段求和。

jdbcDF.agg("id" -> "max", "c4" -> "sum")

2.8 Union

unionAll 方法：对两个DataFrame进行组合 ,类似于 SQL 中的 UNION ALL 操作。

2.9 Join

笛卡尔积

joinDF1.join(joinDF2)

using一个字段形式

下面这种join类似于 a join b using column1 的形式，需要两个DataFrame中有相同的一个列名

joinDF1.join(joinDF2, "id") 

using 多个字段形式

上面这种 using 一个字段的情况外，还可以 using 多个字段

2.10 save

save可以将data数据保存到指定的区域

dataFrame.write.format("json").mode(SaveMode.Overwrite).save()

三、SparkSQL的数据源

SparkSQL 的数据源可以是 JSON 类型的字符串， JDBC , Parquet , Hive , HDFS 等。

3.1 SparkSQL底层架构

首先拿到 sql 后解析一批未被解决的逻辑计划，再经过分析得到分析后的逻辑计划，再经过一批优化规则转换成一批最佳优化的逻辑计划，再经过 SparkPlanner 的策略转化成一批物理计划，随后经过消费模型转换成一个个的 Spark 任务执行。

3.2 谓词下推

Predicate Pushdown简称谓词下推，简而言之，就是在不影响结果的情况下，尽量将过滤条件提量，节约了集群的资源，也提升了任务的性能。前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的量，节约了集群的资源，也提升了任务的性能。