Spark 2.2.0 SQL的运行过程（源码解密）

最新推荐文章于 2023-09-28 11:22:37 发布
最新推荐文章于 2023-09-28 11:22:37 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： SparkInBeiJing
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/76598897
版权
本文详细介绍了Spark SQL 2.2.0的执行过程，从SQL解析到生成Physical Plan，再到执行RDD。解析过程涉及SQL词法语法解析、Analyzer、Logical Plan优化、Physical Plan生成。文章还深入探讨了Analyzer、SessionState、Catalog和SparkPlanner的角色，以及优化器和执行计划的细节。
摘要由CSDN通过智能技术生成

1、     Spark SQL的运行过程

接下来我们看一下Spark SQL的运行过程，Spark  SQL 的运行架构如图 27- 2所示：


图 27- 2 SQL 的运行架构

通过初步解析不同来源的数据变为UnresolvedLogical Plan(此过程会提取关键字，检查基本的语法，如果有问题下一步直接不能运行)，进一步解析语法树生成Logical Plan，进行CombineFilters,CombineLimits等优化策略-,产生Physical Plan,把需要执行的操作转换为spark可以真正执行的RDD。

先概括一下，其执行流程是：

Parse SQL -> Analyze Logical Plan -> OptimizeLogical Plan -&g

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
揭秘大数据处理利器：Spark SQL的全流程解析鸟瞰
击水三千里的专栏
06-28 950
Spark SQL 结合了 SQL 的易用性和 Spark 的分布式计算能力，通过优化查询计划和内存管理，为大规模数据处理提供了一个强大、灵活且高效的解决方案。
SparkSQL的执行流程（附常量折叠、谓词下推、列裁剪案例）
奇迹虎虎的博客
02-27 2274
和 RDD 不同, SparkSQL 的 Dataset 和 SQL 并不是直接生成计划交给集群执行, 而是经过了一个叫做 Catalyst 的优化器, 这个优化器能够自动帮助开发者优化代码。Catalyst 的两大优化：RBO：基于规则的优化，比如谓词下推，列裁剪，常量折叠；CBO：基于代价的优化，多种物理计划基于cost model，选取最优的执行耗时最少的那个物理计划。
spark sql 执行流程
xuetaoxuetao的博客
01-10 8045
在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了spark sql是spark中一个主要的框架之一。本文我们通过源码，来介绍下spark sql的执行流程。 　　 Spark sql是spark内部最核心，也是社区最活跃的组件。Spark SQL支持在Spark中执行SQL,或者HiveQL的关系查询表达式。列式存储的类RDD（D
spark SQL 执行过程
知识的力量
11-05 2187
1、代码实现 import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} //case class一定要放到外面 case class Person(id: Int, name: String, age: Int) object InferringSchema { def
spark sql的执行顺序是什么样的
weixin_35751194的博客
12-26 384
Spark SQL 的执行顺序通常分为以下几步： 解析 SQL 语句：Spark SQL 会先将 SQL 语句解析成内部的表达式树，以便对其进行更好的优化。 优化表达式树：在解析后，Spark SQL 会执行一系列优化步骤来尽量减少数据的传输和计算。这些步骤包括谓词下推、排序合并、等价类合并等。 生成物理计划：在表达式树被优化后，Spark SQL 会将其转换为物理计划，这个计划描述了如何在...
Spark 8：Spark SQL 执行流程、执行引擎
最新发布
Amzmks的博客
09-28 345
相当于构建了一个以MetaStore服务为元数据，Spark为执行引擎的数据库服务，像操作数据库那样方便的操作SparkSQL进行分布式的SQL计算。DataFrame：100% 是二维表结构，可以被针对SparkSQL的自动优化，依赖于：Catalyst优化器。而SparkSQL会对写完的代码，执行“自动优化”， 以提升代码运行效率，避免开发者水平影响到代码执行效率。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。SQL提交后，底层运行的就是Spark任务。
SPARK 2.2.1 SQL处理各种数据源的案例与解读
段智华的博客
02-17 5989
 SPARK 2.2.1 SQL 处理各种数据源的案例与解读由于集团下的各个子公司在数据集成之前，使用数据有多种格式，因此需要支持多种数据来源的处理，将各个子公司的不同数据源集成到集团统一的大数据平台下。Spark SQL支持从各种数据源加载文件构建DataFrame/DataSet，以及将DataFrame/DataSet 保存到各种数据源中。在给出数据源实战案例之前，先对Spark SQL的数...
Spark 2.2.1 SQL UDAF用户自定义函数案例
段智华的博客
02-21 1455
Spark 2.2.1 SQL UDAF用户自定义函数案例UDAF：User Defined Aggregation Function，用户自定义的聚合函数，函数本身作用于数据集合，能够在聚合操作的基础上进行自定义操作。例如：UDF会被SparkSQL中的Catalyst封装成为Expression，最终会通过eval方法来计算输入的数据Row。UDAF有大量的Aggregation之类的操作，对...
第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本
热门推荐
段智华的博客
04-30 4万+
第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密    1.启动hdfs 2启动spark   3启动zookeeper root@worker2:~# zkServer.sh start JMX enabled by default Using config: /usr/local/zookeeper-3.4.6/bin/.
Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数
段智华的博客
02-18 3364
Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数   Spark SQL支持读写存储在Apache Hive中的数据。在Spark 2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。 Spark 2.2.1中的 SparkSession...
Spark SQL源码概览.zip
01-12
Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zipSpark SQL源码概览.zip
Spark-Sql源码解析
08-22
详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd
spark sql 2.3 源码解读 - Optimizer (4)
Just a Benginner
08-13 703
得到 Resolved Logical Plan 后，将进入优化阶段。后续执行逻辑如下： // 如果缓存中有查询结果，则直接替换为缓存的结果，逻辑不复杂，这里不再展开讲了。 lazy val withCachedData: LogicalPlan = { assertAnalyzed() assertSupported() sparkSession.sharedState.cache...
SparkSQL实现原理-执行的总体流程
zg_hover的专栏
06-25 611
Spark SQL执行的总体流程 我们知道SparkSQL最终会把API和SQL语句转换成Spark Core的RDD代码来执行。那么这个转换过程是怎样的呢？本文介绍可执行代码生成的总体流程。 总体流程 可执行代码的生成过程（也是使用Catalyst对表达式进行创建、优化、转换的过程）主要经历以下几个阶段： (1) 起始逻辑计划的生成 (2) 使用Catalyst来分析逻辑计划，并解析引用 (3) 优化逻辑计划 (4) 生成一个或多个物理计划 (5) 优化物理执行计划 (6) 生成可执行代码 在物理规划阶段
Spark SQL表达式内部可用函数与相关源码
TJM2014的博客
03-23 249
Spark SQL表达式内部可用函数与相关源码 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq 虽然标题写着是Spark SQL可用函数，但是我并不想直接把它们贴出来。代码是最好的老师，因此我要教大家自己从源码中...
spark sql 源码分析
qqqq0199181的博客
12-10 442
入口 SQLContext // 用spark执行sql,返回一个DataFrame最为结果 def sql(sqlText: String): DataFrame = sparkSession.sql(sqlText) DataFrame，其实是针对数据查询这种应用，提供的一种基于RDD之上的全新概念，但是，其底层还是基于RDD的;它其实和关系型数据库中的表非常类似，但是底层做了很多的优化，D...
Hive 中如何解决多字符分割场景？
Shockang的博客
06-21 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 通过 MultiDelimitSerDe 解决多字符分割场景 1、创建表 create table t1 (id String, name string) row format SerDe 'org.apache.hadoop.hive.contrib.SerDe2.MultiDelimitSerD
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
一个人的江湖
01-07 2699
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持续对外提供服务，外部可以通过这个端口连接上来，写sql，让Spark运行。上面的过程生成的AST其实最终没有办法直接运行，AST叫做逻辑计划，结束后需要生成物理计划，从而生成RDD来运行。
CM5.12.1安装Spark2.2.0 Cloudera步骤详解：附详细图文教程
本文档详细介绍了如何在CM5.12.1环境中安装Spark2.2.0 Cloudera Distribution的步骤，包括了必要的系统准备以及安装过程中的一些注意事项。首先，安装前需要确保满足以下要求： 1. **Scala版本**: Spark 2.2.0需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值