GShard：利用条件计算和自动分片扩展巨型模型（论文解读）

这篇摘要介绍了Google发布的拥有6000亿参数的巨型模型，其规模远超OpenAI的GPT-3（1750亿参数）。文章重点介绍了Google研发的G-Shard系统，该系统用于训练巨型模型，并描述了其工作原理。

文章指出，G-Shard的重点在于构建模型的框架，而非模型本身。虽然该模型在机器翻译任务上取得了显著的性能提升，但文章更强调的是G-Shard的工程意义，而非机器学习本身。G-Shard能够在4天内使用2048个TPU训练6000亿参数的模型，体现了其高效性。

文章还提到，Google曾尝试训练一个拥有1万亿参数的模型，但最终未能成功。

总而言之，这篇文章主要介绍了Google在构建巨型模型方面的工程进展，并展示了G-Shard系统的强大功能。

谷歌构建了一个拥有6000亿参数的Transformer模型，用于执行大规模多语言机器翻译。有趣的是，模型规模的增加并非来自Transformer深度的增加，而是来自前馈层宽度的增加，以及一种将计算并行化到2048个TPU上的硬路由机制。这是一篇非常详细的工程论文！大纲：0:00 - 简介和概述4:10 - 主要结果5:10 - 专家混合模型16:00 - 与经典Transformer的缩放差异18:50 - 专家混合模型中的反向传播20:05 - GShard中的MoE路由算法38:20 - GShard Einsum示例47:40 - 大规模多语言翻译56:00 - 结果1:11:30 - 结论和评论勘误：我说MoE的计算是线性缩放的，但实际上，它是亚线性的。论文：https://arxiv.org/abs/2006.16668
摘要：神经网络的缩放对于提高许多拥有大量训练数据和计算资源的现实世界机器学习应用程序的模型质量至关重要。尽管这种缩放趋势被认为是提高模型质量的可靠方法，但在这一过程中也存在一些挑战，例如计算成本、编程难易程度以及在并行设备上的高效实现。GShard是一个模块，由一组轻量级的注释 API 和对 XLA 编译器的扩展组成。它提供了一种优雅的方式来表达各种并行计算模式，而对现有模型代码的更改最小。GShard 使我们能够使用自动分片将多语言神经机器翻译 Transformer 模型的稀疏门控专家混合模型扩展到 6000 亿个参数以上。我们证明了这种巨大的模型可以在 2048 个 TPU v3 加速器上高效地训练 4 天，以实现从 100 种语言到英语的翻译质量远远优于现有技术。