总结机器学习3个时代的算力规律：大模型的出现改变了什么？

图 1：1950 年至 2022 年间 118 个里程碑机器学习系统的趋势。我们区分了三个时代。注意大约 2010 年的斜率变化，与深度学习的出现相匹配；2015年底出现了新的大规模趋势。

预测机器学习领域的进展是很困难，其与行业、政策和社会中的参与者有着重要的相关性。

十年后计算机视觉会好多少？机器能否写出比我们更好的小说吗？我们将能够自动化哪些工作？

这些问题回答起来是很困难，因为它们取决于许多因素。然而，随着时间的推移，所有这些因素的影响中有一个因素——算力，有着惊人地规律。

已有数据显示，2010年之前，训练算力的增长率符合摩尔定律（Moore’s law），大约每20个月翻一番。

从2010年之后深度学习开始来临，训练算力的增长率大幅度提升，大约每6个月翻一番。2015年末，随着许多公司开始开发大规模的机器学习模型，对训练算力的要求提高了10到100倍，于是，一种新的趋势又出现了。

基于上述发现，一支联合团队在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中，将机器学习的算力趋势分为三个时代：前深度学习时代，深度学习时代和大规模时代，很好地