《SparkSQL剖析》SparkSQL到RDD概述

SparkSQL 到RDD

val spark = SparkSession . builder(). appName("example").master("local").getOrCreate()
spark.read.json("student.json").createOrReplaceTempView("student")
spark.sql("select name from student where age>18").show()

从SQL到Spark RDD 要经过逻辑计划和物理计划两个阶段:

逻辑计划

逻辑计划将用户的SQL语句转成树型数据结构,SQL中逻辑映射到逻辑算子树的不同节点。逻辑阶段生成的逻辑算子树不会直接体提交，
值作为中间阶段。逻辑算子树形成需要以下三个阶段:
Unresolved LogicalPlan(数据结构，不含任何数据信息)–>Analyzed LogicalPlan(节点中绑定各种信息)–>Optimized LogicalPlan(优化低效的逻辑计划)

物理计划

将逻辑计划生成的逻辑算子树进行转换,生成物理算子树。
物理算子树直接生成RDD或对RDD进行转换，