Adaptive Execution如何让Spark SQL更高效更好用?
文章目录
背景
动态设置 Shuffle Partition
Spark Shuffle 原理
原有 Shuffle 的问题
自动设置 Shuffle Partition 原理
使用与优化方法
动态调整执行计划
固定执行计划的不足
SortMergeJoin 原理
BroadcastJoin 原理
动态调整执行计划原理
使用与优化方法
自动处理数据倾...
转载
2020-01-19 10:50:20 ·
266 阅读 ·
0 评论