Spark - Spark SQL中RBO, CBO与AQE简单介绍

最新推荐文章于 2024-03-05 08:56:47 发布
最新推荐文章于 2024-03-05 08:56:47 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： Spark 文章标签： spark sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012355401/article/details/128971297
版权
Spark SQL的优化包括RBO（基于规则优化）、CBO（基于代价优化）和AQE（适应性查询执行）。RBO通过预定义规则减少计算数据量和重复计算；CBO计算所有可能物理计划的代价并选择最小代价执行；而AQE则是在运行时根据统计信息动态调整优化查询计划，包括自动分区合并、Join策略调整和倾斜处理等功能。
摘要由CSDN通过智能技术生成

Spark SQL核心是Catalyst, Catalyst执行流程主要分4个阶段, 语句解析, 逻辑计划与优化, 物理计划与优化, 代码生成
前三个阶段都由Catalyst负责, 其中, 逻辑计划的优化采用RBO思路, 物理计划的优化采用CBO思路

RBO (Rule Based Optimization)

基于规则优化, 通过一系列预定好的规则(Rule)对逻辑计划进行等价转换, 以提高查询效率
两个主要思路

  • 减少参与计算的数据量
  • 降低重复计算的代价

常用的规则都基于经验指定, 可覆盖大部分查询场景, 且方便扩展, 缺点是不够灵活
常用规则例如

  • 常量折叠(ConstantFolding)
    把纯常量运算表达式预先转化, 比如把1+2转化为3.0, 消除不必要的重复计算

  • 谓词下推(PushdownPredicate)
    最常见的用于减少参与计算的数据量的方法
    谓词, where条件, join on中的过滤条件
    将SQL语句中的谓词逻辑尽量提前执行, 参与join的数据量大大减少, 使得join操作速度大大提高

  • 列裁剪(ColumnPruning)
    在扫描表时, 只筛选出符合后续逻辑计划的最小列集合, 节省掉扫描全部列的资源
    如果使用的Parquet,ORC等列式存储格式持久化的, 效率会更高

CBO (Cost Based Optimization)

基于代价优化
CBO优化主要在物理计划层, 原理是计算所有可能的物理计划的代价, 并挑选出代价最小的计划
充分考

最低0.47元/天 解锁文章
不住在隔壁的老王
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark AQE（Adaptive Query Execution）机制
fanghailiang2016的博客
04-13 971
AQE 的全称是 Adaptive Query Execution，翻译过来是“自适应查询执行”。它包含了 3 个动态优化特性，分别是 Join 策略调整、自动分区合并和自动倾斜处理。
Spark性能调优指南来了！
笑看风云路的博客
07-31 2858
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用SQL或者版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。本文首先讲解了Spark的底层的Shuffle。
Spark SQL explaind中的统计信息-深入了解CBO优化
monkeyboy_tech的博客
04-19 1871
本文翻译自Statistic in Spark SQl explained Spark SQL 优化器使用两种优化方式：基于规则的和基于代价的。前者依赖于启发式规则，而后者依赖于数据的统计属性。在这篇文章里,我们解释一下在底层这些统计信息是怎么被用到，以及哪些场景下是有用的，并且怎么来使用这些统计信息。 大部分基于启发式的优化规则都没有考虑到被处理的数据属性。比如：基于启发式的PredicatePushDown规则就是基于先过滤再计算的假设。 然而有些场景spark能够通过数据的统计信息来得出更好的计划，这
SQL优化-优化器
weixin_50742675的博客
12-09 1414
SQL优化-优化器
SQL优化-RBO（Rule-Based Optimization）
KaiwuDB 数据库
08-25 745
SQL 优化的过程可以分为逻辑优化和物理优化两个部分。逻辑优化主要是基于规则的优化，简称 RBO（Rule-Based Optimization）。物理优化会为逻辑查询计划中的算子选择某个具体的实现，需要用到一些统计信息，决定哪一种方式代价最低，所以是基于代价的优化 CBO（Cost-Based Optimization）。 优化器是 KaiwuDB 中的一个核心的模块，KaiwuDB 使用优化器来完成对 SQL 语句优化并得到最优的逻辑计划，开务数据库里的优化器分为 RBO 和 CBO 两个阶段。
spark sql cbo与rbo考量
最新发布
流月up的博客
03-05 476
spark sql cbo 与 rbo 考量
Oracle的RBO和CBO详细介绍和优化模式设置方法
09-10
主要介绍了Oracle的RBO和CBO详细介绍和优化模式设置方法,RBO即基于规则的优化方式(Rule-Based Optimization),CBO即基于代价的优化方式(Cost-Based Optimization),需要的朋友可以参考下
单片机与DSP中的PIC16C84单片机介绍
12-09
PIC16C84单片机介绍概述PIC16C84是8位CMOS EEPROM单片机。它有高性能的类似于RISC 的指令，共有35条单字节的指令，所有的指令除程序分支指令需要两个指令周期外，都只需要一个指令周期。当主振频率为10MHZ时一个指令...
spark调优.rar
12-12
9. **Spark SQL优化**：对于SQL查询，使用CBO（Cost-Based Optimization）替代RBO（Rule-Based Optimization），并利用索引、物化视图和JOIN策略优化查询性能。 10. **监控与调优工具**：利用Spark自带的Web UI监控...
CBO,RBO在ORACLE中的应用
03-11
CBO,RBO在ORACLE中的应用
Spark3 新特性之AQE
Shyllin的博客
02-24 3221
Spark3 新特性之AQE
数据库查询优化器，RBO优化规则介绍及示例
Aiky哇
08-19 1750
数据库查询优化器是针对于sql经过解析后生成的ast表达式树的。目的是能够降低sql执行计算量，简化计算。传统数据库中，查询优化是很复杂的，大体上可以分为RBO和CBO，其中CBO的收益性不确定，需要进行代价估算，依赖的数据统计会比较多。而RBO规则优化在不需要了解数据统计信息的前提下，可以明确提升sql执行计划的查询性能。现在的数据库厂商大多使用的是RBO+CBO或者只用CBO的架构。其实只用CBO更主流一些，TIDB,PolarX都在用，只用cbo搜索空间相对更完整，优化结果更接近全局最优。
Spark 3.0自适应查询执行框架(AQE)
L13763338360的博客
11-16 2326
1. AQE设计原理 AQE 可以理解成是 Spark Catalyst 之上的一层，它可以在运行时修改 Spark plan。 AQE 完全基于精确的运行时统计信息进行优化，引入了 Query Stages 的概念 ，并且以 Query Stage 为粒度，进行运行时的优化，其工作原理如下所示： Query Stage 是由 Shuffle 或 broadcast exchange 划分的，在运行下一个 Query Stage 之前，上一个 ...
Spark CBO
半日闲的博客
02-12 790
HIVE 0.14 Cost Based Optimizer (CBO) Technical Overview CBO 三个优化效果 Join ordering optimization Bushy join support Join simplification Equi-depth Histogram Construction for Big Data with Quality Guara...
Spark SQL 性能优化再进一步 CBO 基于代价的优化
技术世界
09-26 2622
本文所述内容均基于 2018年9月17日 Spark 最新 Release 2.3.1 版本。后续将持续更新 Spark CBO 背景 上文Spark SQL 内部原理中介绍的 Optimizer 属于 RBO，实现简单有效。它属于 LogicalPlan 的优化，所有优化均基于 LogicalPlan 本身的特点，未考虑数据本身的特点，也未考虑算子本身的代价。 本文将介绍 CBO，它充分考虑...
Spark SQL / Catalyst 内部原理 与 RBO
BigDataCoder的博客
09-10 346
Spark SQL 架构 Spark SQL 的整体架构如下图所示 从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作 Parser 解析 SQL，生成 Unresolved Logical Plan 由 Analyzer 结合 Catalog 信息生成 Resolved Logical Plan Optimizer根据预先定义好的规则对 Resolved Logical Plan 进行优化并生成 Optimized Logic
浅谈Spark SQL语句解析与基于规则优化（RBO）
LittleMagic's Blog
11-08 1444
前言 大数据领域“SQL化开发”的风气方兴未艾，这是因为SQL是一种通用、学习成本低的语言，并且还有较强的数据描述能力。不少大数据框架早已支持了SQL化开发，如Spark、Flink、Kafka等。 之前笔者操刀的多数Spark程序都是用传统的RDD API写的，Spark SQL用得很少，Flink也如是。最近抽空对这两门“SQL”做了一些了解，并且断断续续研究了Spark SQ...
关于CarbonData+Spark SQL的一些应用实践和调优
fengyuruhui123的博客
09-20 4334
大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。在这样的现状下，CarbonData 诞生了，作为首个由中国贡献给Apache社区的顶级开源项目，CarbonData 提供了一种新的融合数据存储方案，以一份
mysql rbo cbo
09-12
MySQL中的RBO和CBO是查询优化的两种不同方法。 RBO代表基于规则的优化器（Rule-Based Optimizer），它使用一系列预定义的规则来决定查询的执行计划。这些规则基于数据库统计信息和固定的优化规则，例如索引选择、连接顺序等。RBO在较早版本的MySQL中是默认的优化器，但自MySQL 5.0起，CBO成为了默认的优化器。 CBO代表成本基于优化器（Cost-Based Optimizer），它通过评估不同执行计划的成本来选择最佳的执行计划。CBO使用数据库统计信息（如表大小、索引选择性等）以及硬件和系统配置信息来估算执行计划的成本，并选择最佳的执行计划来优化查询性能。 总的来说，CBO比RBO更智能和灵活，能够更好地适应不同的查询和数据库环境。在大多数情况下，使用CBO可以获得更好的性能。但有时候，RBO可能在某些特定场景下表现更好，特别是当数据库统计信息不准确或过时时。 需要注意的是，MySQL 8.0之后已经移除了RBO，并且只支持CBO作为默认的优化器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值