mysql谓词下推_spark sql 源码剖析 PushDownPredicate：谓词不是想下推，想推就能推

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一件痛并快乐的事情，今天我来抛砖引玉，讲讲 逻辑优化里面 谓词下推的实现，如果对 spark sql 总体架构不了解的，可以先看这篇文章 是时候学习真正的spark技术了 了解全貌。

谓词下推， 顾名思义，就是把过滤算子(就是你在 sql语句里面写的 where语句)，尽可能地放在执行计划靠前的地方，好处就是尽早地过滤到不必要的数据，后续流程都节省了计算量，从而优化了性能。

关键词：hive谓词下推 spark谓词下推 mysql谓词下推 谓语下推 spark sql谓词下推 sql下推 project下推 Predicate Pushdown Rules(谓词下推规则) spark pushdown filters spark parquet filter pushdown

举个最简单的例子:

我们对整个执行计划 explain 一下，就能清晰看到 spark sql 做的优化，Filter  operator 从 Project operator 后面挪到了前面。

你可能觉得这也没有啥，不过对有些数据库，是直接可以把这个过滤下沉到 数据库层面，这样加载的数据量就少了很多，省了网络带宽，不过这个跟spark sql 没啥关系，就不提这个了。

上文说，要把 过滤算子 尽可能地放在执行计划靠前的地方， 这篇文章就是要把这个 尽可能掰扯清楚，哪些情况是可以挪动的，哪些情况是不可以挪动的。

spark sql 到了逻辑优化这一步就是利用scala强大的case正则匹配，对一个由各种operator组成的AST树尽其所能的匹配和修改，下面我们看下PushDownPredicate 优化策略都对哪些情况做了匹配优化

关键词：hive谓词下推 spark谓词下推 mysql谓词下推 谓语下推 spark sql谓词下推 sql下推 p