Spark 3.0新特性 - 动态分区裁剪

Spark 3.0 new features - Dynamic Partition Pruning

什么叫Partion Pruning？ 翻译成中文就是分区裁剪，简单说就是数据过滤，只从必要的分区拿数据，通过减少IO以提高性能。
那为什么叫Dynamic Partition Pruning，动态分区裁剪？为了理解这个概念，我们先理解一下static partition pruning，即静态分区裁剪。

静态分区裁剪

现有SQL如下

Select * from Students where subject = ‘English’;

以上SQL的执行过程的如下图所示：

以上过程有一个很明显的可以优化的点，就是在做scan之前先做过滤，通过减少IO来提升性能。

于是， 以上过程可以优化为如下：

以上过程就可以简单理解成Static Partition Pruning，即只从必要的partition中拿数据ÿ