SQL优化器执行过程之逻辑算子

  我们提到了两种SQL优化器,分别是RBO和CBO。那么无论是RBO,还是CBO都包含了一系列优化规则,这些优化规则可以对关系表达式进行等价转换,从而寻找最优的执行计划。

  那么常见的优化规则就包括:

  列裁剪

  投影消除

  谓词下推

  最大最小消除

  常量传播

  其他

  在上述这些优化规则的基础上,就能够对关系表达式做出相应的等价转换,从而生成执行计划。本篇文章先从优化规则的基础概念逻辑算子开始讲起,后续会介绍各个优化规则。

  逻辑算子

  DataSource:数据源,也就是我们SQL语句中的表。select name from table1中的table1。

  Selection:选择,如select name from table1 where id = 1中的where后的过滤条件。

  Projection:投影,指搜索的列,如select name from table1 where id = 1中的列name

  Join:连接,如select * from table1 table2 where table1.name=table2.name就是把两个表做Join。连接条件是最简单的等值连接,当然还有其他我们熟知的inner join,left join,right join等等

  Sort:排序,如select * from table1 order by id里面的order by。无序的数据通过这个算子处理后,输出有序的数据。

  Aggregation:分组,如select sum(score) from table1 group by name中的group by。按照某些列进行分组,分组后可以进行一些聚合操作,比如Max、Min、Sum、Count、Average等等

  Apply:子查询,如select * from (select id,name from table1) as t中的(select id,name from table1) as t。可以进行嵌套查询。

  选择、投影、连接就是最基本的算子

  逻辑查询计划

  逻辑查询计划就是SQL语句通过SQL解析之后由各个逻辑算子组成的树状结构。

  比如我们由这样一条SQL:select user.name from user,score where user.id = score.id and score.num 60

  变成查询计划之后如图所示:

  user,score对应最下面的DataSource,负责读取数据。

  在上面由一个Join,将两个表的结果按user.id=score.id连接

  再按score.num 60 做一个Selection过滤

  最后将user.name做投影(Projection)

  而优化需要做的事情就是改变逻辑算子组成的逻辑查询计划,使它执行时的代价尽量的小。当然优化规则就是我们前面提到的那些了。

  既然由逻辑算子那么就有物理算子,物理算子和逻辑算子的不同在于,一个逻辑算子可能对应多种的物理算子的实现。比如Join的物理算子实现可以用NestLoop Join、HashJoin、MergeSort Join等,Aggregation可以用Hash或者排序后分组的不同做法,DataSource可以直接扫描全表也可以利用索引读取数据等等。

  所以我们常说的:“查询慢,加个索引啊”,要确保逻辑查询计划对应的物理计划走索引查询才行。


转载于:https://juejin.im/post/5c6faf5be51d457f926d6b54

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RDD和DataFrame在Spark中是两种不同的数据结构,它们的算子逻辑和实现方式也有所不同。 对于RDD,其算子逻辑是基于函数式编程的,每个算子都是一个函数,接收一个RDD并返回一个新的RDD。在执行过程中,RDD算子会将函数逻辑序列化并发送到集群中的各个节点上进行执行,因此RDD的算子具有强大的灵活性和通用性。RDD的实现方式是通过分布式内存计算来实现,即将数据分区存储在集群中的多个节点上,在计算过程中将函数逻辑发送到各个节点进行并行计算,最后将结果合并返回给驱动程序。 而对于DataFrame,其算子逻辑则是基于SQL查询语言的,每个算子都是一个SQL操作,接收一个DataFrame并返回一个新的DataFrame。在执行过程中,DataFrame算子会将SQL逻辑解析为Spark SQL物理执行计划,并通过Catalyst优化器进行优化,最终将优化后的计划转化为RDD的执行计划并交给Spark Core进行执行。DataFrame的实现方式是通过列式存储和执行计划优化来实现,即将数据按列存储,利用CPU的SIMD指令进行向量化计算,同时通过Catalyst优化器SQL进行优化,以提高计算效率和性能。 需要注意的是,虽然RDD和DataFrame在算子逻辑和实现方式上有所不同,但是它们在Spark应用程序中的使用方式是相似的,都是通过链式调用算子来构建数据处理流程,以实现复杂的数据分析和处理任务。同时,Spark也提供了API来实现RDD和DataFrame之间的转化,以便在不同场景下选择最合适的数据结构来进行计算。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值