SPARKSQL3.0-Unresolved[Parsed]阶段源码剖析

已于 2023-04-20 12:12:34 修改
阅读量882 收藏 1
点赞数 4
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： spark 大数据 hadoop sql sparksql
于 2022-11-21 17:47:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127967373
版权
本文深入剖析SPARKSQL3.0的Unresolved阶段，从sql字符串通过ANTLR4转化为AST语法树，再到LogicalPlan的构建过程。详细讲解了ANTLR4生成的SPARK-AST语法树结构，并分析了如何逐步构建logicalPlan，展示了SQL语句在SparkSQL中的解析转换步骤。
摘要由CSDN通过智能技术生成

一、前言

上两节介绍了Antlr4的简单使用以及spark中如何构建SessionState，如果没有看过建议先了解上两节的使用，否则看本节会比较吃力

[SPARKSQL3.0-Antlr4由浅入深&SparkSQL语法解析]

[SPARKSQL3.0-SessionState构建源码剖析]

那么在Unresolved阶段，spark主要做了两件事：

1、将sql字符串通过antrl4转化成AST语法树

2、将AST语法树经过spark自定义访问者模式转化成logicalPlan【logicalPlan可以理解为精简版的语法树】

注意：该阶段中语法树中仅仅是数据结构，不包含任何数据信息

二、sql -> antlr4阶段

先来一个简单的示例：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
高 亮
关注
专栏目录
订阅专栏
SPARKSQL3.0-源码剖析全流程导读
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1285
SPARKSQL3.0-源码剖析全流程导读
Spark-Sql源码解析之五 Spark Planner：optimized logical plan –> spark plan
wl044090432的博客
08-12 3115
前面描述的主要是逻辑计划，即sql如何被解析成logicalplan，以及logicalplan如何被analyzer以及optimzer，接下来主要介绍逻辑计划如何被翻译成物理计划，即SparkPlan。 lazy val sparkPlan: SparkPlan = { SparkPlan.currentContext.set(self) planner.plan(optimized
利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器
敏叔
12-12 2931
基于Spark Logical Plan Parse ，对Spark 源码的定向改造，打造大数据平台SQL诊断利器
Spark SQL系列之SQL到Unresolved Logical Plan
woliuqiangdong的博客
02-04 401
　　1. 摘要 　　从Spark发展过程来看，Spark SQL模块无疑是Spark整个项目中最重要的模块之一，经过Spark项目的不断迭代发展，对Spark SQL模块已经做了很多优化，尤其是最近几次的发布来看，Spark 3.1.1 Release Note[1]，Spark 3.2.0 Release Note[2]针对Spark SQL的改进、优化都是最活跃的模块之一，因此学习Spark SQL，了解其运行机制也是掌握Spark的一门必修课。 　　本系列旨在带读者一起了解Spark SQ...
Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）
Shockang的博客
02-04 4311
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源
winpe权威指南 源码_Spark SQL源码解析（二）Antlr4解析Sql并生成树
weixin_39579726的博客
12-09 191
Spark SQL原理解析前言：Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容，推荐看看《antlr4权威指南》前四章，看完起码知道antlr4能干嘛。我这里就不多介绍了。这篇首先先介...
SPARKSQL3.0-Analyzer阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-21 1038
SPARKSQL3.0-Analyzer阶段源码剖析
SPARKSQL3.0-Optimizer阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1012
SPARKSQL3.0-Optimizer阶段源码剖析
SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 933
SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析
使用explain来分析Spark应用
三丰的专栏
09-18 2219
理解Spark的执行计划对Spark调优是非常重要的。Spark提供了一个explain API去查看Spark SQL查询的执行计划。在这篇文章中我会展示给你如何使用explain去获取执行计划以至于你可以调试和分析你的Spark应用。explain在Dateset上是可用的。你可以用它在Spark 查询真正运行之前就知道Spark的执行计划。当然，Spark也提供了UI，你可以通过UI去看Spark的执行计划以及其它细节当Spark 应用正在运行的时候。并且你可以配置Spark History Serv
Spark-Sql源码解析之三 Analyzer：Unresolved logical plan –> analyzed logical plan
wl044090432的博客
08-11 3195
Analyzer主要职责就是将通过Sql Parser未能Resolved的Logical Plan给Resolved掉。 lazy val analyzed: LogicalPlan = analyzer.execute(logical)//分析过的LogicalPlan protected[sql] lazy val analyzer: Analyzer = new Analyzer(c
详解Spark SQL 底层实现原理(parser、analyzer、optimizer、physical plan)
cjl的博客
10-22 3588
Spark SQL 底层实现原理1. Spark SQL架构设计2. sparkSQL执行过程3. SQL举例4. Catalyst执行过程4.1 sql解析阶段Parser4.2 绑定逻辑计划Analyzer4.3 逻辑优化阶段Optimizer4.3.1 谓词下推4.3.2 列裁剪4.3.3 常量替换4.3.4 常量累加4.4 生成可执行的物理计划阶段Physical Plan4.5 代码生成阶段4.5.1 生成代码与sql解析引擎的区别5. Spark SQL 执行过程总结 1. Spark SQL架
18 Spark on EXPLAIN性能调优
lucklilili
01-07 869
Description The EXPLAIN statement is used to provide logical/physical plans for an input statement. By default, this clause provides information about a physical plan only. EXPLAIN语句用于为输入语句提供逻辑/物理计划。默认情况下，此子句仅提供有关物理计划的信息。 Syntax EXPLAIN [ EXTENDED | CODEG
Spark修炼之道（高级篇）——Spark源码阅读：第十二节 Spark SQL 处理流程分析
zdy0_2004的专栏
12-30 1397
http://blog.csdn.net/lovehuangjiaju/article/details/50375431 下面的代码演示了通过Case Class进行表Schema定义的例子： // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) /
spark学习之执行计划explain
柳小葱的博客
03-23 6390
本文主要介绍了spark的执行计划explain的使用方法，以及对逻辑执行计划和物理执行计划进行了说明，让大家更加了解spark的运行原理。
SparkSQL – 从0到1认识Catalyst
跋跋寒的博客
08-23 9402
原文地址：http://hbasefly.com/2017/03/01/sparksql-catalyst/ 最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有...
sparksql累加求和sql语句_Spark SQL解析过程以及Antlr4入门
weixin_39793189的博客
12-09 346
Spark SQL解析过程 在Spark 2.0之后，Spark SQL使用Antlr 4来解析SQL表达式，其解析描述文件路径为spark源码根路径sqlcatalystsrcmainantlr4orgapachesparksqlcatalystparserSqlBase.g4， 比如下面的sql语句是如何转化成RDD的。select name from person where age &...
Spark SQL之核心源码分析
威少（微笑）
06-26 1651
目录 一：DataFrame lazy特性 二：HiveContext.sql() SQL起始 三：SQLContext.executeSql() 正式执行 四：Spark SQL 具体转换解析分析 一：DataFrame lazy特性 //在用户拿到了封装的 Unresolved LogicalPlan的DataFrame之后 //执行一些 show(),select()...
ccs #10234-D unresolved symbols remain
最新发布
06-07
这个问题通常出现在使用 TI 的 Code Composer Studio (CCS) 进行编译的过程中。它意味着在链接期间，一些符号未能被解析，导致链接失败。 要解决这个问题，您可以尝试以下几个步骤： 1. 检查您的代码是否存在语法...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高 亮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值