Spark 3.2.0 版本新特性 push-based shuffle 的背景和动机

原文

本文翻译自 Spark 3.2.0 版本新增特性 push-based shuffle的 SPIP。

SPIP: Support push-based shuffle to improve shuffle efficiency

背景和动机

在 Spark 计算基础设施的大规模部署中，Spark Shuffle 正在成为潜在的扩展瓶颈和集群效率低下的原因。

在 YARN 上进行大规模部署时，人们通常启用 Spark 外部 Shuffle 服务，并将中间 Shuffle 文件存储在硬盘上。

由于与 Shuffle 数据的大小相比，为特定 Shuffle 生成的 Block 数量呈指数级别增长（mapper 和 reducer 随 Shuffle 数据的大小线性增长，但 block 的数量 = mapper 的数量 * reducer 的数量），我们观察到的一个总体趋势是，Spark 应用程序处理的数据越多，Block 大小就越小。

在我们看到的几个生产集群中，平均 Shuffle Block 大小只有 10 个 KB。

由于在硬盘上对少量数据进行随机读取效率低下，随着我们看到处理越来越多的数据的 Spark 应用程序数量的不断增加，为 Shffule Block 提供服务的 Spark 外部 Shuffle 服务的整体效率在不断下降。

此外，由于 Spark 外部 Shuffle 服务是多租户集群中的共享服务，一个Spark 应用程序的低效问题也可能传播到其他应用程序。

因此，我们提出了一种解决方案，通过 push-based Shuffle 提高上述环境中的 Spark Shuffle 效率。

使用 push-based Shuffle，Shuffle 在 Mapper 的末端进行，Block 被预先合并并移动到 Reducer。

在我们的最初原始实现中，可以看到在执行大型 Shuffle 时效率有了显著提高。

我们采取 Spark 原生的方式来实现这一目标，即扩展 Spark 现有的 Shuffle 网络协议，以及 Spark Mapper、Reducer 和 Driver 的行为。

这样，我们可以在 Spark 中带来更高效 Shuffle 的好处，而不会产生专门的存储层或外部基础设施部件的依赖性或开销。