1-SparkSql-基本流程

以json文件为例子：对json文件内容进行查询过滤操作

图解

说明

• 1 . Client 端 读取json文件转换为Dataframe :
  spark.read.json("../../spark/main/resources/people.json")

  • 1.1 构建DataSource对象，数据源 :
    DataSource.apply(sparkSession,paths = paths,..)
    • 定义一个数据源，什么格式读写数据
  • 1.2 生成统一的数据处理对象baseRelation: BaseRelation，spark sql处理的数据源可以是文件系统中的json文件，纯文本文件等，也可以是关系数据库中的数据jdbc，所以需要抽象成统一的数据处理方式，知道数据结构，以及数据如何读取 ：
    DataSource#resolveRelation(): BaseRelation
    • FileFormat的情况解析的同时会做类型推断获取schema => StructType
      • 生成一个DataSet,执行select查询
      • 执行dataSet获取一部分sample数据，根据json内容推断json有哪些字段是什么类型返回
        • 会触发job任务执行
  • 1.3 将baseRelation封装成LogicalRelation，主要将schema转换成 AttributeReference 数组
    • 由baseRelation适配成了一棵LogicalPlan，可以进行查询计划的逻辑处理
    • 数据结构从schema描述转换成AttributeReference描述，以便逻辑计划树操作
  • 1.4 将LogicalRelation封装成Dataframe,类型为Row的Dataset，先初始化一下QueryExecution检查一下是否可以执行，然后再封装Dataset:
    Dataset.ofRows(self, LogicalRelation(baseRelation))
    • 1.4.1 预先检查一下，初始化QueryExecution，qe.assertAnalyzed() 执行关系查询的工作流，初始化各个阶段的状态analyzed，withCachedData，optimizedPlan，sparkPlan，executedPlan:
      val qe = sparkSession.sessionState.executePlan(logicalPlan) //Dataset
def executePlan(plan: LogicalPlan): QueryExecution = new QueryExecution(sparkSession, plan) //SessionState
      • 1.4.1.1 分析阶段 analyzed: LogicalPlan
        通过 Analyzer#execute，遍历plan的所有节点应用配置的一系列规则，一系列规则rule，检查查询语句中使用的对象是否准确，如表和列是否存在，是否包含*需要展开，使用的方法是否存在
      • 1.4.1.2 使用缓存 withCachedData: LogicalPlan
        CacheManager#useCachedData ，遍历所有节点查看是否缓存有相同结果的计划
        cachedData.find(cd => plan.sameResult(cd.plan))
      • 1.4.1.3 优化阶段 optimizedPlan: LogicalPlan
        SparkOptimizer#execute,应用一些列优化规则，优化查询逻辑
      • 1.4.1.4 逻辑计划转物理计划 sparkPlan: SparkPlan
        SparkPlanner#plan(plan: LogicalPlan): Iterator[SparkPlan]，对应各种操作的物理计划，包含java代码自动生成
      • 1.4.1.5 准备执行的计划 executedPlan: SparkPlan
        preparations.foldLeft(plan) 在计划执行前应用一些规则 + CollapseCodegenStages，如果支持代码生成，在顶层插入WholeStageCodegenExec物理计划，支持全局代码生成
    • 1.4.2 实例化D