Spark系列（19）—— Spark3.0中的AOE、DPP和Hint增强

已于 2025-01-07 11:21:08 修改
阅读量628 收藏
点赞数
分类专栏： 大数据从入门到精通 文章标签： 大数据 spark 分布式
于 2023-11-14 04:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134359300
版权
Spark3.0引入了Adaptive Query Execution (AQE)，包括动态合并分区、动态切换Join策略和动态优化Join倾斜。动态合并分区解决了过多或过少分区的问题，动态切换Join策略能根据运行时数据大小动态选择最优Join类型，动态优化Join倾斜通过拆分倾斜分区提升性能。此外，Spark3.0还增强了Hint功能，支持更多的Join类型提示。
摘要由CSDN通过智能技术生成

1 Spark3.0 AQE

Spark 在 3.0 版本推出了 AQE（Adaptive Query Execution），即自适应查询执行。AQE 是 Spark SQL 的一种动态优化机制，在运行时，每当 Shuffle Map 阶段执行完毕，AQE 都会结合这个阶段的统计信息，基于既定的规则动态地调整、修正尚未执行的逻辑计划和物理计划，来完成对原始查询语句的运行时优化。

1.1 <

了解本专栏 订阅专栏 解锁全文
发掘Spark 3.0潜能：探索与利用调优新特性提升大数据处理性能
击水三千里的专栏
05-03 1008
Spark 3.0 大版本发布，Spark SQL 的优化占比将近 50%。Spark SQL 取代 Spark Core，成为新一代的引擎内核，所有其他子框架如 Mllib、Streaming 和 Graph，都可以共享 Spark SQL 的性能优化，都能从 Spark 社区对于 Spark SQL 的投入中受益。
大数据技术Spark3.0详解
悦分享
10-04 2242
Spark3.0版本包含了3400多个补丁程序，是开源社区做出巨大贡献的最高峰，带来了Python和SQL功能的重大进步，并着眼于探索和生产的易用性。
Spark_Spark3.0功能特性
迎难而上
08-23 483
本文主要讲解一下Spark3.0中的功能特性，相对于老版本，表述不周的地方欢迎评论。2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0正式发布！Apache Spark 3.0.0版本包含3400多个补丁，是开源社区做出巨大贡献的结晶，在Python和SQL功能方面带来了重大进展并且将重点聚焦在了开发和生产的易用性上。同时，今年也是Spark开源10周年，这些举措反映了Spark自开源以来，是如何不断的满足更广泛的受众需求以及更多的应用场景。
Spark3 AQE (Adaptive Query Execution) 一文搞懂 新特性
青冬的博客
12-03 3423
Spark3 新特性 AQE Adaptive Query Execution 原理 代码 讲解
Spark学习
aoe41606的博客
04-23 104
Spark执行原理自我理解： （1）首先程序有RDD Objects分解为DAG有向无环图 （2）提交DAGScheduler，依据shuffer将DAG分解为一组taskset，即stages （3）Taskset提交TaskSc...
spark3.0 特性测试整理
03-01 373
目前的测试效果性能较2.4.6 提高有20% spark 3.0 性能改进项--简化内容可以参考 https://www.cnblogs.com/xing901022/p/13381167.html ： spark3.0 的 发布时间 --2020年6月 大版本的更新注定有许多性能优化方面的新特性，其中整个版本升级改进中spark sql占 46% ，spark core占 16% spark作为当前批量数据分析引擎，在SQL方面的优化主要四个方向7个方面： 1.开发交互方向： 新的...
Spark3 新特性之DPP
Shyllin的博客
03-03 1215
Spark3 新特性之DPP
【Spark重点难点08】Spark3.0中的AQE和DPP小总结
微信搜：import_bigdata，大数据领域硬核原创作者
12-21 2148
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文已加入「大数据成神之路PDF版」提供下载。后台回复：「PDF」即可获取。更多PDF下载可以参考：《重磅,大数据成神之路PDF...
Spark 动态分区剪裁(DPP)
2401_84052244的博客
07-31 527
这一讲，我们围绕动态分区剪裁，学习了谓词下推和分区剪裁的联系和区别，以及动态分区剪裁的定义、特点和使用方法。相比于谓词下推，分区剪裁往往能更好地提升磁盘访问的 I/O 效率。这是因为，谓词下推操作往往是根据文件注脚中的统计信息完成对文件的过滤，过滤效果取决于文件中内容的“纯度”。分区剪裁则不同，它的分区表可以把包含不同内容的文件，隔离到不同的文件系统目录下。这样一来，包含分区键的过滤条件能够以文件系统目录为粒度对磁盘文件进行过滤，从而大幅提升磁盘访问的 I/O 效率。
大数据之Spark调优：Spark3.0 Hint 增强
weixin_43597208的博客
10-07 407
在 spark2.4 的时候就有了 hint 功能，不过只有 broadcasthash join 的 hint,这次 3.0 又增加了 sort merge join,shuffle_hash join,shuffle_replicate nested loop join。Spark 的 5 种 Join 策略：https://www.cnblogs.com/jmx-bigdata/p/14021183.html。
spark 实现多文件输出
08-23 521
需求 不同的key输出到不同的文件 txt文件 multiple.txt 中国;22 美国;4342 中国;123 日本;44 日本;6 美国;55 美国;43765 日本;786 日本;55 scala代码 import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat import...
Spark讲解与使用
super_dmz的博客
09-15 1041
Map Reduce存在的问题 在介绍Spark首先需要介绍为何要提出Spark，Hadoop高度支持的Map Reduce框架有什么不好的地方吗？ 答：没有完美的机制，Map Reduce范式存在下面问题 1、模型能处理的应用有限，主要基于Map和Reduce处理，存在很多限制 2、中间的文件储存在内存里，但是最后MR-output文件存在在文件系统里，涉及到磁盘读取的问题。在一个Map Reduce里存在大量Disk IO问题，效率很低 因此在Hadoop的基础上提出了大量的附加系统，例.
数据倾斜？Spark 3.0 AQE专治各种不服
微信搜：import_bigdata，大数据领域硬核原创作者
01-20 540
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上...
Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
热门推荐
monkeyboy_tech的博客
02-26 2万+
背景 本文基于spark 3.1.2,且运行在yarn模式下 最近在调试 spark sql的时候遇到了空指针的问题，如下： Caused by: java.lang.NullPointerException at org.apache.spark.sql.execution.DataSourceScanExec.$init$(DataSourceScanExec.scala:57) at org.apache.spark.sql.execution.FileSourceScanExec.<in
Spark 3.0 DPP实现逻辑
半日闲的博客
03-12 899
准备测试环境 测试数据和测试SQL import spark.implicits._ import java.time.LocalDateTime import java.time.format.DateTimeFormatter import java.sql.Timestamp spark.range(-1000, 1000).map { id => val dt = Timestamp.valueOf(LocalDateTime.now.plusDays(id)) val dt
Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析
过往记忆大数据
06-19 3263
原计划在2019年年底发布的 Apache Spark 3.0.0 今天终于赶在下周二举办的 Spark Summit AI 会议之前正式发布了! Apache Spark 3.0.0 ...
Spark Hint
wozipa的博客
11-28 3133
介绍 SparkHint是在使用SparkSQL开发过程中，针对SQL进行优化的一点小技巧，我们可以通过Hint的方式实现BraodcastJoin优化、Reparttion分区等操作，提供了传统SQL中无法实现的一些功能。 语法介绍 SparkSQL的语法定义是通Antlr4实现的，Antlr4是一个提供语法定义、语法解析等第三方库，Antlr4语法的定义基本复合正则表达式，因此会正则表达式的同...
Spark 3.0 中七个必须知道的 SQL 性能优化
07-09 1036
本文来自IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在Spark Summit North America 2020 的 《SQL Performance Improvements at a Glance in Apache Spark 3.0》议题的分享。 Spark 3.0正式版在上个月已经发布了，其中更新了很多功能，参见过往记忆大数据的Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析。本文将介绍 Spark 3.0 在 SQL 方面的优化。...
【MQ】探索 Kafka
最新发布
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
信号处理中的PDP和DPP分别是什么
05-10
在信号处理中，PDP和DPP是两个不同的概念。 PDP是指功率谱密度函数（Power spectral density function），它描述了信号在不同频率上的功率分布情况。PDP可以通过对信号进行傅里叶变换来得到，其单位是功率/Hz。 DPP是指功率谱密度的倒数，也称为时间相关函数（Time correlation function），它描述了信号在不同时间上的相关性。DPP可以通过对PDP进行傅里叶反变换得到，其单位是时间（秒）。 在实际应用中，PDP和DPP常常被用来描述信号的特性和性质，例如在无线通信中用于频谱分析和信道建模，以及在音频处理中用于噪声消除和语音增强等方面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值