TPU演进十年：Google的十大经验教训

 

David Patterson，Google杰出工程师、UC Berkeley荣誉退休教授、美国国家工程院、科学院院士、文理科学院“三院”院士。他是RISC（精简指令集计算机）、RAID（独立磁盘冗余阵列）和NOW（工作站网络）的缔造者，他与John Hennessy的著作《计算机体系结构：量化研究方法》在业内久负盛名。

2017年，David Patterson加入Google TPU团队，2018年3月，他与John Hennessy共同获得图灵奖，2008年获ACM/IEEE Eckert-Mauchly 奖（被誉为计算机体系结构最高奖），2000年获得冯·诺依曼奖章。

本文是他近期在加州大学伯克利分校的演讲，他分享了Google TPU近十年的发展历程以及心得体会，并阐述了提升机器学习硬件能效对碳足迹的影响。OneFlow社区对此进行了编译。

作者｜David Patterson

翻译｜胡燕君、贾川、程浩源

1

一场由TPU引发的“地震”

2013年，Google AI负责人Jeff Dean经过计算后发现，如果有1亿安卓用户每天使用手机语音转文字服务3分钟，消耗的算力就已是Google所有数据中心总算力的两倍，何况全球安卓用户远不止1亿。

如果仅通过扩大数据中心规模来满足算力需求，不但耗时，而且成本高昂。因此，Google决定针对机器学习构建特定领域计算架构（Domain-specific Architecture），希望将深度神经网络推理的总体拥有成本（TCO）降低至原来的十分之一。

于是，Google在2014年开始研发TPU，项目进展神速，仅15个月后TPU就可在Google数据中心部署应用，而且TPU的性能远超预期，它的每瓦性能是是GPU的30倍、CPU的80倍（数据源自论文：https://arxiv.org/ftp/arxiv/papers/1704/1704.04760.pdf）。

2016年，在Google I/O开发者大会上，Google首席执行官Sundar Pichai对外公布了TPU这一突破性成果，他介绍道：

“通过Google云平台，用户不但可以接触到Google内部使用的高性能软件，还可以使用Google内部开发的专用硬件。机器学习的计算规模巨大，因此Google研发了机器学习专用硬件，也就是‘张量处理单元（TPU）’。TPU的每瓦性能比市面上所有GPU和FPGA都高出一个数量级。用户可以通过Google云平台体验TPU的优异性能。DeepMind研发的AlphaGo在与韩国棋手李世石的对战中使用的底层硬件就是TPU。”

希腊神话中，特洛伊战争的起因是两方争夺世界上最美的女人——海伦，后世诗人将海伦的美貌“令成千战舰为之起航”。我认为TPU就像海伦，它的出现引起了“成千芯片与之竞逐”。

可以说，TPU的问世引发了硅谷的“地震”。TPU宣布诞生后，Intel耗资数十亿美元收购了多家芯片公司，阿里巴巴、Amazon等竞争对手纷纷开始研发类似产品。TPU重新唤起了人们对计算机架构的关注，后来的几年内，出现了上百家相关初创企业，年均总融资额近20亿美元，各种新奇的想法层出不穷。

五年后，Sundar Pichai又在2021年Google I/O开发者大会公布TPU v4：

“AI技术的进步有赖于计算基础设施的支持，而TPU正是Google计算基础设施的重要部分。新一代TPU v4芯片的速度是v3的两倍多。Google用TPU集群构建出Pod超级计算机，单台TPU v4 Pod包含4096块v4芯片，每台Pod的芯片间互连带宽是其他互连技术的10倍，因此，TPU v4 Pod的算力可达1 ExaFLOP，即每秒执行10的18次方浮点运算，相当于1000万台笔记本电脑的总算力。”

上图展示了TPU的发展历史。其中，Google尚未公布TPU v4i（TPU v4 lite）的相关细节。去年Google宣布TPU v4i已在云服务上可用，也发表了一篇关于TPU v4i的论文（https://www.gwern.net/docs/ai/scaling/hardware/2021-jouppi.pdf）。

2

十年演进，十大教训

过往十年，我们在ML计算架构的发展中汲取了十大教训。

其中，前五个都和ML模型本身有关，后五个则关乎硬件和架构。这些经验对深度学习以外的领域也有借鉴意义。

教训一：DNN所需内存空间和算力迅速增长

我们阅读近几年的论文后发现，推理模型所需的内存空间和算力平均每年增长50%。由于芯片设计和部署至少各需要1年，投入实际使用并优化需要3年。可见，从一款芯片开始设计到生