Spark 3.0新特性 - 动态分区裁剪

已于 2022-05-03 23:37:44 修改
阅读量2k 收藏 5
点赞数
文章标签： spark big data 大数据
于 2022-05-03 23:32:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chg1226/article/details/124563899
版权
Spark 3.0引入动态分区裁剪（Dynamic Partition Pruning）优化数据过滤，通过逻辑规划和物理规划阶段减少IO，提高处理性能。在静态分区裁剪的基础上，动态裁剪利用子查询定位所需分区，尤其在广播哈希连接中，避免全表扫描，显著提升性能。Databricks数据显示，使用动态分区裁剪可提升处理速度至少一倍。
摘要由CSDN通过智能技术生成

Spark 3.0 new features - Dynamic Partition Pruning

什么叫Partion Pruning？ 翻译成中文就是分区裁剪，简单说就是数据过滤，只从必要的分区拿数据，通过减少IO以提高性能。
那为什么叫Dynamic Partition Pruning，动态分区裁剪？为了理解这个概念，我们先理解一下static partition pruning，即静态分区裁剪。

静态分区裁剪

现有SQL如下

Select * from Students where subject = ‘English’;

以上SQL的执行过程的如下图所示：

在这里插入图片描述

以上过程有一个很明显的可以优化的点，就是在做scan之前先做过滤，通过减少IO来提升性能。

于是， 以上过程可以优化为如下：

在这里插入图片描述

以上过程就可以简单理解成Static Partition Pruning，即只从必要的partition中拿数据ÿ

最低0.47元/天 解锁文章
chg1226
关注
发掘Spark 3.0潜能：探索与利用调优新特性提升大数据处理性能
击水三千里的专栏
05-03 1008
Spark 3.0 大版本发布，Spark SQL 的优化占比将近 50%。Spark SQL 取代 Spark Core，成为新一代的引擎内核，所有其他子框架如 Mllib、Streaming 和 Graph，都可以共享 Spark SQL 的性能优化，都能从 Spark 社区对于 Spark SQL 的投入中受益。
Spark 动态分区剪裁(DPP)
最新发布
2401_84052244的博客
07-31 527
这一讲，我们围绕动态分区剪裁，学习了谓词下推和分区剪裁的联系和区别，以及动态分区剪裁的定义、特点和使用方法。相比于谓词下推，分区剪裁往往能更好地提升磁盘访问的 I/O 效率。这是因为，谓词下推操作往往是根据文件注脚中的统计信息完成对文件的过滤，过滤效果取决于文件中内容的“纯度”。分区剪裁则不同，它的分区表可以把包含不同内容的文件，隔离到不同的文件系统目录下。这样一来，包含分区键的过滤条件能够以文件系统目录为粒度对磁盘文件进行过滤，从而大幅提升磁盘访问的 I/O 效率。
一文了解 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）
过往记忆大数据
11-04 1286
静态分区裁剪（Static Partition Pruning）用过Spark的同学都知道，SparkSQL 在查询的时候支持分区裁剪，比如我们如果有以下的查询：SELECT * FROM Sales_iteblogWHERE day_of_week = 'Mon'Spark 会自动进行以下的优化：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：ite...
Spark 3.0 Dynamic Partition Pruning 动态裁剪分区
lucklilili
06-05 681
Dynamic Partition Pruning动态裁剪分区
Spark3新特性之动态分区裁剪（Dynamic Partition Pruning，DPP）
weixin_45162906的博客
07-25 2474
Spark3动态分区裁剪（Dynamic Partition Pruning，DPP） 参数：spark.sql.optimizer.dynamicPartitionPruning.enabled 默认开启 执行条件： ①、需要剪裁的表必须是分区表且分区字段必须在on条件中 ②、join类型必须是 inner、left（右表是分区表）、right（左表是分区表）、left semi（右表是分区表） ③、spark.sql.optimizer.dynamicPartitionPruning.useStats
Spark3 新特性之DPP
Shyllin的博客
03-03 1216
Spark3 新特性之DPP
图文理解 Spark 3.0 的动态分区裁剪优化
monkeyboy_tech的博客
01-07 401
Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪（dynamic partition pruning）就是其中之一。本文将通过图文的形式来带大家理解什么是动态分区裁剪。 Spark 中的静态分区裁剪 在介绍动态分区裁剪之前，有必要对 Spark 中的静态分区裁剪进行介绍。在标准数据库术语中，裁剪意味着优化器将避免读取不包含我们正在查找的数据的文件。例如我们有以下的查询 SQL： Select * from iteblog.Students where subject = ‘English’;
spark3.0_spark3.0动态调优特性-参数讲解
09-12
Spark 3.0引入了许多新的动态调优特性，可以通过设置和调整参数来改善Spark作业的性能。下面是几个重要的参数及其功能的讲解： 1. spark.sql.optimizer.dynamicPartitionPruning.enabled：这个参数默认为true，启用...
Spark_Spark3.0特性之动态分区裁剪
迎难而上
08-24 449
参考文章 ：Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪(dynamic partition pruning)就是其中之一。本文将通过图文的形式来带大家理解什么是动态分区裁剪。
spark3新特性之动态分区裁剪
Samooyou的博客
07-12 654
Spark3.0为我们带来了许多令人期待的特性。Spark中的静态分区裁剪在介绍动态分区裁剪之前，有必要对Spark中的静态分区裁剪进行介绍。因此，在这种情况下，我们不能再应用静态分区裁剪，因为filter条件在join表的一侧，而对裁剪有用的表在Join的另一侧。Spark将这个查询转化为一种易于理解的形式，我们称它为查询的逻辑计划。物理计划阶段优化如果维度表很小，那么Spark很可能会以broadcasthashjoin的形式执行这个Join。Spark 3.0 为我们带来了许多令人期待的特性。
分区裁剪 oracle,Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）使用
weixin_30936907的博客
04-03 501
我在 这篇 文章中介绍了 Apache并不是什么查询都会启用动态裁剪优化的，必须满足以下几个条件：spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true，不过这个值默认就是启用的；需要裁减的表必须是分区表，而且分区字段必须在 join 的 on 条件里面；Join 类型必须是 INNER, LEFT SEMI (左表是分区表...
Spark3.0动态分区裁剪
top8488.top大数据
11-06 853
静态分区裁剪（Static Partition Pruning） 用过Spark的同学都知道，SparkSQL 在查询的时候支持分区裁剪，比如我们如果有以下的查询： SELECT * FROM Sales_iteblog WHERE day_of_week = 'Mon' Spark会自动进行以下的优化： 如果想及时了解Spark、Hadoop或者Hbase相关...
Spark-Apache Spark3.0.Dynamic Partition Pruning
做一只精致IT小白
11-05 350
静态分区裁剪[Static Partition Pruning] 用过Spark的同学知道，SparkSQL在查询的时候支持分区裁剪，比如： select * from Sales where day_of_week = ‘Mon’ Spark会自动进行以下的优化： 从上图可以看到 Spark在编译SQL的时候自动将Filter算子下推到数据源，也就是在Scan前进行了Filter操作，将day...
分区裁剪
weixin_30613343的博客
04-10 402
explain plan for select /*+leading (T6) use_nl( T1 T6)*/ * from T_PM_ACCT_DTL_AF T1,(SELECT * FROM S_PM_MGR_DEPT_RELA A WHERE DEPT1_CODE <> ...
ApacheSpark3.0动态分区裁剪
github_28583061的博客
07-01 304
Apache Spark 3.0 动态分区裁剪 静态分区裁剪（Static Partition Pruning） spark sql 在执行查询的时候根据过滤条件实现谓词下推，分区剪裁，跳过不必要的分区，减少读取数据量 select * from sales where day_of_week = "mon" spark 在编译时会把filter算子下推到数据源，转成数据...
Spark SQL 的partitionBy() 动态分区
m0_69097184的博客
12-12 1243
在Spark SQL中，`partitionBy()` 动态分区是指根据数据的实际值进行分区，而不是在数据写入时就确定分区的值。动态分区``scala在上述示例中，首先使用 `spark.read` 方法读取 CSV 文件，并将其加载为 DataFrame。然后，使用 `df.write` 方法将 DataFrame 保存为 Parquet 格式的文件。在保存的过程中，使用 `partitionBy` 方法指定了两个列名，即 "column1" 和 "column2"，这样就会根据这两个列的值进行动态分区。
浪尖以案例聊聊spark3的动态分区裁剪
大数据星球-浪尖
01-08 767
动态分区裁剪，其实就牵涉到谓词下推，希望在读本文之前，你已经掌握了什么叫做谓词下推执行。SparkSql 中外连接查询中的谓词下推规则动态分区裁剪比谓词下推更复杂点，因为他会整合维表的过...
【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
monkeyboy_tech的博客
01-12 952
背景 本文基于delta 0.7.0 spark 3.0.1 spark 3.x引入了动态分区裁剪，在 spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划我们提到在逻辑计划阶段会加入DynamicPruningSubquery，今天我们分析一下在物理阶段怎么对DynamicPruningSubquery进行优化以及实现的 分析 直接转到PlanDynamicPruningFilters的apply方法： override def apply(plan: SparkP
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值