从MLPerf谈起：如何引领AI加速器的下一波浪潮

作者｜Adi Fuchs

翻译｜程浩源、沈佳丽

在深度学习史上，专用化硬件至少在AlexNet和Transformers这两个革命性时刻发挥了关键作用，介绍这两种架构的论文都在其摘要中强调了GPU的作用，并详细说明了它们如何将底层计算并行化到多个GPU中，以加快计算速度。

之所以要强调这一点，是因为早在AlexNet论文发表的20年前，应用于计算机视觉的深度卷积神经网络就已经诞生了；同样，早在Transformers论文发表前，应用于自然语言处理的LSTMs、RNNs和自注意力机制（self-attention mechanism）也已存在，这说明许多算法基础早就已经有了。

然而，通过展示如何以合理的成本进行大规模计算，论文作者们在上述领域取得了进一步突破。究其原因，是他们掌握了AI加速的革命性本质：扩展到日用品（Scale-to-Commodity）。

25年来，路由器、有线和无线的网络速率增长了1000倍

虽然提高单位成本的性能一直是计算机科学家和工程师们的长期目标，但在某些情况下，收益会改变游戏规则，一些过去认为不可能成为日用品的东西会变成日用品。

当芯片性能提高100倍，意味着你在两个小时内就可以运行一个复杂的模型，而过去你却得耗费一周时间，甚至可能需要100个基于CPU的工作站（假设你能够掌握所有这些并行化并支付昂贵的电费）。

过去20年，由于互联网带宽增加了1000多倍，我们的生活也发生了翻天覆地的变化。你能想象，以前人们需要等待好几个小时才能下载完自己喜欢的电视剧吗？简直太煎熬了。

为了保持AI的革命性本质，我们需要考虑哪些模型可以日用品化以及如何将它们日用品化。

1

AI基准测试的缺陷

近年来，我们见证了MLPerf的兴起，这是一个旨在对AI硬件和系统供应商报告的性能数据进行标准化的基准测试组件。它由来自70多家头部科技公司（英伟达、谷歌、AMD和英特尔）、多家初创公司（SambaNova、Cerebras和Graphcore）以及各大学术机构（斯坦福、哈佛和伯克利）等众多行业领导者共同发起。

MLPerf基准测试包括ResNet50和BERT等多个AI应用，并就不同版块进行评估，包括数据中心训练、数据中心推理和移动设备推理等等。每隔几个月，MLPerf就会收到各大公司和机构提交的测试结果（主要涉及应用运行时间），然后他们会把结果推送给相应的领域。这样，提交者们就可以根据MLPerf竞赛评估各自的表现，一些潜在客户也能挑选出更符合自身需求的AI系统。

MLPerf有一项雄心勃勃的使命宣言：基于真实的模型、公开的数据集和易于理解的指标，为用户提供标准化和无偏见的性能推理方法，从而推动AI的应用。

随着AI硬件更加普及，我们迫切需要更多的行业标准和指标去了解AI硬件的性能。虽然MLPerf在性能评估方面已经做得不错了，但我还想提三项可扩大其影响力的改进措施。

1、规范化