Spark SQL 自适应执行优化引擎 背景 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行,从而提高整体执行效率。核心在于两点 执行计划可动态调整 调整的依据是中间结果的精确统计信息 spark 2.3 开始试验功能 spark 3.0 正式发布 自适应查询执行(Adaptive Query Execution) 功能 动态合并shuffle 分区 动态选择join策略 动态优化数据倾斜join
Spark SQL 自适应执行优化引擎 背景 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行,从而提高整体执行效率。核心在于两点 执行计划可动态调整 调整的依据是中间结果的精确统计信息 spark 2.3 开始试验功能 spark 3.0 正式发布 自适应查询执行(Adaptive Query Execution) 功能 动态合并shuffle 分区 动态选择join策略 动态优化数据倾斜join