Spark SQL之核心源码分析

目录

 

一：DataFrame lazy特性

二：HiveContext.sql() SQL起始

三：SQLContext.executeSql() 正式执行

四：Spark SQL 具体转换解析分析 

---

一：DataFrame lazy特性

//在用户拿到了封装的 Unresolved LogicalPlan的DataFrame之后
//执行一些 show(),select(),show(),groupBy(),show() 等操作
//在一系列的transformation操作后，在执行一个action操作
//在触发后续优化 SQL 的步骤
      

二：HiveContext.sql() SQL起始

入口：=======================================================================
HiveContext.sql()

org.apache.spark.sql.SQLContext.scala.

sql()调用
DataFrame(this, parseSql(sqlText))

parseSql()
ddlParser(sql, false).getOrElse(sqlParser(sql))

1.sqlParser
val fallback = new catalyst.SqlParser

最后返回一个DataFrame对象 

=============================================
org.apache.spark.sql.catalyst.SparkSQLParser.scala
org.apache.spark.sql.catalyst.AbstractSparkSQLParser.apply()

new lexical.Scanner(input) ==》 
用 lexical.Scanner，进行语法检查，分析。
如果满足，则使用SQL解析器针对SQL进行解析：包括词法解析（将SQL语句解析成一个个的短语，token）、语法解析
最后生成一个Unreasolved LogicalPlan

 

图：

 

三：SQLContext.executeSql() 正式执行

1.SQLContext.executeSql()  方法  
 SQLContext.scala.QueryExecution()

2.lazy val analyzed: LogicalPlan = analyzer(logical)

3.useCachedData()  
执行缓存的操作：如果之前缓存过这个执行计划，那么就使用缓存中的数据

4.optimizer(withCacheData)
org.apache.spark.sql.catalyst.optimizer.Optimizer.scala
直接使用建议的方式来编写SQL语句，这样避免了 Spark SQL 内部的优化，某种程度上提升了性能

5..    lazy val sparkPlan: SparkPlan = {
      SparkPlan.currentContext.set(self)
      planner(optimizedPlan).next()
    }

optimized logical plan –> spark plan
逻辑计划 —— 》 物理计划 

6.   
    lazy val executedPlan: SparkPlan = prepareForExecution(sparkPlan)

spark plan -> executed Plan  在SparkPlan中插入Shuffle的操作 

7.   executed Plan -> RDD[Row]   物理计划的执行，最终转变为 RDD返回 （详情参见之前Spark Core 的核心源码）
/** Internal version of the RDD. Avoids copies and has no schema */
    lazy val toRdd: RDD[Row] = executedPlan.execute()

 ================================================  Analyzer.scala 
 =>  org.apache.spark.sql.catalyst.analysis.Analyzer.scala

RuleExecutor.scala .apply()
将LogicalPlan 将它要查询的数据源绑定起来
通过遍历取出Analyzer中定义的batches里存储的每一个Batch，每一个Batch中会封装同属某一个类别的Rule及其相应的执行策略

lazy val batches: Seq[Batch] = Seq()

图：

 

四：Spark SQL 具体转换解析分析 

Spark SQL 的SQL处理引擎分析 
https://blog.csdn.net/weixin_39966065/article/details/93745012   

图：