Adaptive Execution 让 Spark SQL 更高效更智能

最新推荐文章于 2024-02-20 21:16:57 发布

九师兄

最新推荐文章于 2024-02-20 21:16:57 发布

阅读量532

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/91520704

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细介绍了Spark SQL中的Adaptive Execution特性，包括动态设置Shuffle Partition以优化执行效率，解决Shuffle Partition数量不合适的问题。文章还探讨了自动调整执行计划，通过BroadcastJoin替代SortMergeJoin来提升性能，以及如何自动处理数据倾斜。此外，提供了启用和优化Adaptive Execution的相关配置参数。

摘要由CSDN通过智能技术生成

本文所述内容均基于 2018年9月17日 Spark 最新 Spark Release 2.3.1 版本，以及截止到 2018年10月21日 Adaptive Execution 最新开发代码。自动设置 Shuffle Partition 个数已进入 Spark Release 2.3.1 版本，动态调整执行计划与处理数据倾斜尚未进入 Spark Release 2.3.1

1 背景

前面《Spark SQL / Catalyst 内部原理与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化，从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。但是

执行计划一旦生成，便不可更改，即使执行过程中发现后续执行计划可以进一步优化，也只能按原计划执行
CBO 基于统计信息生成最优执行计划，需要提前生成统计信息，成本较大，且不适合数据更新频繁的场景
CBO 基于基础表的统计信息与操作对数据的影响推测中间结果的信息，只是估算，不够精确
本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点

了解本专栏