Spark sql知识点和执行流程图

1.什么是Spark SQL

Spark SQL 是 Spark 用来处理结构化数据的一个模块，它提供了 2 个编程抽象：
DataFrame 和 DataSet，并且作为分布式 SQL 查询引擎的作用

执行流程

2.Spark SQL 的特点

1）易整合
2）统一的数据访问方式
3）兼容 Hive
4）标准的数据连接

3.什么是DataFrame？

与 RDD 类似，DataFrame 也是一个分布式数据容器。
然而 DataFrame 更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即 schema。
同时，与 Hive 类似，DataFrame 也支持嵌套数据类型（struct、array 和 map）。从 API 易用性的角度上看，DataFrame API 提供的是一套高层的关系操作，比函数式的 RDD API 要更加友好，门槛更低

4.什么是DataSet？

1）是 Dataframe API 的一个扩展，是 Spark 最新的数据抽象。
2）用户友好的 API 风格，既具有类型安全检查也具有 Dataframe 的查询优化特性。
3）Dataset 支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提高了效率。
4）样例类被用来在 Dataset 中定义数据的结构信息，样例类中每个属性的名称直接映射到
DataSet 中的字段名称。
5）Dataframe 是Dataset 的特列，DataFrame=Dataset[Row] ，所以可以通过 as 方法将Dataframe转换为 Dataset。Row 是一个类型，跟 Car、Person 这些的类型一样，所有的表结构信息我都用Row 来表示。
6）DataSet 是强类型的。比如可以有 Dataset[Car]，Dataset[Person].
7）DataFrame 只是知道字段，但是不知道字段的类型，所以在执行这些操作的时候是没办法在编译的时候检查是否类型失败的，比如你可以对一个 String 进行减法操作，在执行的时候才报
错，而 DataSet 不仅仅知道字段，而且知道字段类型，所以有更严格的错误检查。就跟 JSON 对象和类对象之间的类比。

5.RDD 转换为 DateFrame

注意：如果需要 RDD 与 DF 或者 DS 之间操作，那么都需要引入 import spark.implicits._ 【spark 不是包名，而是 sparkSession 对象的名称】

6.DateFrame 转换为 RDD

直接调用 rdd ，将 DataFrame 转换为 RDD

7.RDD、DataFrame、DataSet三者的共性

1、RDD、DataFrame、Dataset 全都是 spark 平台下的分布式弹性数据集，为处理超大型数据提供便利
2、三者都有惰性机制，在进行创建、转换，如 map 方法时，不会立即执行，只有在遇到 Action
如 foreach 时，三者才会开始遍历运算。
3、三者都会根据 spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出。
4、三者都有 partition 的概念
5、三者有许多共同的函数，如 filter，排序等
6、在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包进行支持
import spark.implicits._
7、DataFrame 和 Dataset 均可使用模式匹配获取各个字段的值和类型

8.三者的区别

1.RDD:
1）RDD 一般和 spark mllib 同时使用
2）RDD 不支持 sparksql 操作
2.DataFrame:
1）与 RDD 和 Dataset 不同，DataFrame 每一行的类型固定为 Row，每一列的值没法直接访问，只有通过解析才能获取各个字段的值
2）DataFrame 与 Dataset 一般不与 spark mlib 同时使用
3）DataFrame 与 Dataset 均支持 sparksql 的操作，比如 select，groupby 之类，还能注册临时表/视窗，进行 sql 语句操作
4）DataFrame 与 Dataset 支持一些特别方便的保存方式，比如保存成 csv，可以带上表头，这样每一列的字段名一目了然
3.Dataset:
1）Dataset 和 DataFrame 拥有完全相同的成员函数，区别只是每一行的数据类型不同。
2）DataFrame 也可以叫 Dataset[Row],每一行的类型是 Row，不解析，每一行究竟有哪些字段，各个字段又是什么类型都无从得知，只能用上面提到的 getAS 方法或者共性中的第七条提到的模式匹配拿出特定字段。而 Dataset 中，每一行是什么类型是不一定的，在自定义了 case class 之后可以很自由的获得每一行的信息

9.用户自定义聚合函数

强类型的Dataset 和弱类型的DataFrame 都提供了相关的聚合函数，如 count()，countDistinct()， avg()，max()，min()。除此之外，用户可以设定自己的自定义聚合函数
1）弱类型用户自定义聚合函数：通过继承 UserDefinedAggregateFunction 来实现用户自定义聚合
函数
2）强类型用户自定义聚合函数：通过继承 Aggregator 来实现强类型自定义聚合函数