SPARKSQL3.0-Optimizer阶段源码剖析

已于 2023-04-20 12:11:46 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： Spark3.0-SQL内核源码剖析 文章标签： 大数据 spark 数据库 optimizer sparksql
于 2022-11-22 14:44:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35128600/article/details/127982538
版权
本文详细解析了SPARKSQL3.0的Optimizer阶段，阐述了其在LogicalPlan优化中的作用，特别是通过谓词下推减少数据处理量。通过示例和源码分析，揭示了Filter谓词如何从父节点下推到子节点，优化数据读取。同时，介绍了SparkOptimizer的规则执行流程及其默认优化策略。
摘要由CSDN通过智能技术生成

一、前言

阅读本节需要先掌握【SPARKSQL3.0-Analyzer阶段源码剖析】

Optimizer阶段是对Analyzer分析阶段的逻辑计划【logicalPlan】做进一步的优化，将应用各种优化规则对一些低效的逻辑计划进行转换

例如将原本用户不合理的sql进行优化，如谓词下推，列裁剪，子查询共用等。

本质:【optimizer阶段是对 Analyzer生成的LogicalPlan进行优化调整生成新的LogicalPlan】

这个阶段的优化器同样是基于大量的规则（Rule），而大部分的规则都是基于直观或经验而得出的规则，随着spark社区的活跃，此优化器阶段的规则也逐渐完善丰满，可以说每一个优化规则都有其诞生的原因，不可不查。

二、示例

由于上一节的示例在优化器中没有明显sql的优化，我们这次举一个谓词下推的优化过程，其他优化规则可根据源码自行推导

此处示例使用的是dataFrameAPI，其原理和spark.sq

了解本专栏 订阅专栏 解锁全文 超级会员免费看
高 亮
关注
专栏目录
订阅专栏
SPARKSQL3.0-源码剖析全流程导读
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1285
SPARKSQL3.0-源码剖析全流程导读
spark sql 2.3 源码解读 - Optimizer (4)
Just a Benginner
08-13 706
得到 Resolved Logical Plan 后，将进入优化阶段。后续执行逻辑如下： // 如果缓存中有查询结果，则直接替换为缓存的结果，逻辑不复杂，这里不再展开讲了。 lazy val withCachedData: LogicalPlan = { assertAnalyzed() assertSupported() sparkSession.sharedState.cache...
Spark SQL Catalyst源码分析之Optimizer
u013939918的博客
07-30 327
/**Spark SQL源码分析系列文章*/ 前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser，和Analyzer以及核心类库TreeNode，本文将详细讲解Spark SQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式，并加上自己的实践，对Optimizer有一个直观的认识。 Optimizer的主要职责是将Analyzer给Resolved的Logical Plan根据不同的优化策略Batch，来对语法树进行优...
Spark SQL 工作流程源码解析（四）optimization 阶段（基于 Spark 3.3.0）
Shockang的博客
04-02 3752
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 目录 Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0） Spark SQL 工作流程源码解析（四）optimization
[Spark SQL] 源码解析之Optimizer
UFO的博客
06-06 677
前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved LogicalPlan; analyzer 模块结合catalog进行绑定,生成 resolved LogicalPlan; optimizer 模块对 resolved LogicalPlan 进行优化,生成 optimized LogicalPlan; S...
SparkSQLCatalyst源码分析之Optimizer
03-03
前几篇文章介绍了SparkSQL的Catalyst的核心运行流程、SqlParser，和Analyzer以及核心类库TreeNode，本文将详细讲解SparkSQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式，并加上自己的实践，对Optimizer有一个直观的认识。Optimizer的主要职责是将Analyzer给Resolved的LogicalPlan根据不同的优化策略Batch，来对语法树进行优化，优化逻辑计划节点(LogicalPlan)以及表达式(Expression)，也是转换成物理执行计划的前置。如下图：Optimizer这个类是在cataly
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 950
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
SPARKSQL3.0-各阶段自定义扩展规则源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1168
SPARKSQL3.0-各阶段自定义扩展规则源码剖析
SPARKSQL3.0-Catalog源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 1301
SPARKSQL3.0-Catalog源码剖析
Spark SQL源码概览.zip
01-12
Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zipSpark SQL源码概览.zip
Spark-Sql源码解析
08-22
详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd
Spark SQL表达式内部可用函数与相关源码
TJM2014的博客
03-23 250
Spark SQL表达式内部可用函数与相关源码 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq 虽然标题写着是Spark SQL可用函数，但是我并不想直接把它们贴出来。代码是最好的老师，因此我要教大家自己从源码中...
深入了解Spark SQL的Catalyst Optimizer
赣江
09-17 2110
该博文为2015年发布，已经有些过时，但是了解的话，能更好的理解spark以及发展的趋势。   Spark SQL是Spark最新，技术最复杂的组件之一。它为SQL查询和新的DataFrame API提供支持。Spark SQL的核心是Catalyst优化器，它以一种新颖的方式利用高级编程语言功能（例如Scala的模式匹配和quasiquotes）来构建可扩展的查询优化器。 我们最近发表了一...
spark sql 源码分析
qqqq0199181的博客
12-10 442
入口 SQLContext // 用spark执行sql,返回一个DataFrame最为结果 def sql(sqlText: String): DataFrame = sparkSession.sql(sqlText) DataFrame，其实是针对数据查询这种应用，提供的一种基于RDD之上的全新概念，但是，其底层还是基于RDD的;它其实和关系型数据库中的表非常类似，但是底层做了很多的优化，D...
SparkOptimizer 优化：OptimizeIn（In to InSet）
PowerMe
05-18 357
最近在调试Spark-SQL的时候看了一个OptimizeIn优化规则，该规则做了两个事情： 去除In中重复的Literal条件； 如果In中Literal条件数目大于optimizerInSetConversionThreshold（默认值为10），做In到InSet的表达式转换。 在做DataSource扩展filter pushdown的时候要注意处理这种优化。 源码如下： 实例： ...
Catalyst揭秘 Day5 optimizer解析
weixin_33961829的博客
07-24 133
Catalyst揭秘 Day5 optimizer解析 Optimizer是目前为止中catalyst中最重要的部分。主要作用是把analyzed logicalPlan变成optimized LogicalPlan。optimizer和analyzer都继承自RuleExecutor。所以表现形式上都差不多。在analyzer基础上理解起来会比较简单。 总体分析 Optimizer类似analy...
大数据技术架构(组件)34——Spark：Spark SQL--Optimize
最新发布
sysocc的博客
02-13 517
如果一个分区的大小大于所有分区大小的中位数而且大于spark.sql.adaptive.skewedPartitionSizeThreshold，或者分区条数大于所有分区条数的中位数且大于spark.sql.adaptive.skewedPartitionRowCountThreshold。即将小文件存放到DistributedCache中，然后分发到各个Task上，并加载到内存中，类似于Map结构，然后借助于Mapper的迭代机制，遍历大表中的每一条记录，并查找是否在小表中，如果不在则省略。
Hive 中如何解决多字符分割场景？
热门推荐
Shockang的博客
06-21 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 通过 MultiDelimitSerDe 解决多字符分割场景 1、创建表 create table t1 (id String, name string) row format SerDe 'org.apache.hadoop.hive.contrib.SerDe2.MultiDelimitSerD
SparkSQL Catalyst Optimizer深度解析
"SparkSQLCatalyst源码分析之Optimizer" SparkSQL的Catalyst模块是其高性能查询引擎的关键组成部分，而Optimizer则是Catalyst中的核心组件，负责将解析后的逻辑计划（LogicalPlan）转化为更高效、优化过的执行计划...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高 亮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值