Spark 3.0如何提高SQL工作负载的性能

在几乎所有处理复杂数据的部门中，Spark很快已成为跨数据和分析生命周期的团队的事实上的分布式计算框架。 新的Adaptive Query Execution框架（AQE）是Spark 3.0最令人期待的功能之一，它可以解决困扰许多Spark SQL工作负载的问题。英特尔和百度混合团队在2018年初的博客中记录了这些内容。要更深入地了解框架，请学习我们更新的Apache Spark Performance Tuning课程。

我们在Workload XM方面的经验无疑证实了这些问题的现实性和严重性。

AQE最初是在Spark 2.4中引入的，但随着Spark 3.0的发展，它变得更加强大。尽管Cloudera建议在我们交付Spark 3.1之前等待在生产中使用它，但您现在可以使用AQE开始在Spark 3.0中进行评估。 

首先，让我们看一下AQE解决的问题类型。

 

初始催化剂设计中的缺陷

下图表示使用DataFrames执行简单的按组分组查询时发生的分布式处理的类型。

Spark为第一阶段确定适当的分区数量，但对于第二阶段，使用默认的幻数200。

不好的原因有三个：

1. 200不可能是理想的分区数，而分区数是影响性能的关键因素之一；

2. 如果将第二阶段的输出写入磁盘，则可能会得到200个小文件。

3. 优化及其缺失会产生连锁反应：如果在第二阶段之后继续进行处理，您可能会错过进行更多优化的潜在机会。

您可以做的是在执行类似于以下语句的查询之前，手动为此