AI和算力（from OpenAI）

OpenAI发布的一项分析显示，自2012年以来，最大的人工智能训练运行中使用的计算量呈指数级增长，翻倍时间为3.4个月（相比之下，摩尔定律的翻倍时间为2年）。自2012年以来，这一指标增长了30多万倍（两年的翻倍期只能产生7倍的增长）。计算能力的提高是人工智能进步的一个关键组成部分，因此，只要这一趋势继续下去，就值得为远远超出当今能力的系统的影响做好准备。

训练相对知名的模型的总计算量（以petaflop/s-day为单位）需要使用大量计算时间，并提供了足够的信息来估计使用的计算量。

petaflops/s-daya(pfs-day)：一千万亿次/秒-天（pfs-day）包括每秒执行1015次神经网络运算，持续一天，或总共约1020次运算。计算时间乘积的作用是方便记忆，类似于kW-hr之于能量。我们不测量硬件的峰值理论FLOPS，而是尝试估计实际执行的操作数。我们把加法和乘法算作单独的操作，我们把任何加法或乘法算作一个操作，而不管数值精度（使“FLOP”有点用词不当），我们忽略了集成模型。所示最佳拟合线的加倍时间为3.4个月。

概览

三个因素推动了AI的进步：算法创新、数据（可以是监督数据或交互环境）以及可用于训练的算力。算法创新和数据难以跟踪，但算力是可以量化的，这为衡量人工智能的进展提供了机会。

当然，海量算力的使用有时只是暴露了我们当前算法的缺点。但至少在当前的许多领域中，更多的算力似乎可以预见地导致更好的性能，并且通常与算法进步相辅相成。

基于此分析，我们认为算力相关的数字不是单个GPU的速度，也不是最大的数据中心的容量，而是用于训练单个模型的计算量——这是最可能说明我们的模型有多强大的数字。

每个模型所需的算力与总的算力需求有很大的不同，因为并行度的限制（硬件和算法）限制了一个模型可以有多大，或者多少算力可以有效的有用训练。当然，重要的突破仍然是在适度的算力下取得的——本分析仅涉及计算能力。

趋势表明，算力每年大约以10倍的速度增长。这得益于定制硬件（GPU/TPU）在单位价格上每秒可以执行更多的操作。这主要是由研究人员反复寻找并行使用更多芯片的方法，并愿意为此支付经济成本推动的。

发展阶段

从图中我们可以大致看到四个不同的时代：

2012年之前	使用GPU进行ML并不常见，这使得图中的任何结果都很难实现。
2012年~2014年	在许多GPU上进行训练的情况并不常见，因此大多数结果使用了1-8个额定为1-2 TFLOPS的GPU，总计0.001-0.1 pfs-day。
2014年~2016年	大规模结果使用10-100个GPU，额定值为5-10 TFLOPS，结果为0.1-10 pfs-day。数据并行性的回报减少意味着更大的训练运行的价值有限。
2016年~2017年	允许更大的算法并行性（如巨大的批处理大小、架构搜索和专家迭代）的方法，以及专门的硬件（如TPU和更快的互连）大大增加了这些限制，至少对于某些应用程序是如此。

AlphaGoZero/AlphaZero是大规模算法并行的最明显的例子，这种规模的许多其他应用在算法上也是可能的，并且可能已经在生产环境中发生。

展望未来

我们相信图表中的趋势可能会持续下去。许多硬件初创公司都在开发AI专用芯片，其中一些公司声称他们将在未来1-2年实现 FLOPS/$ 的大幅提高。通过简单地重新配置硬件以执行相同数量的操作以减少经济成本，也可能会有好处。在并行性方面，上面描述的许多最近的算法创新在原则上可以相互结合，例如架构搜索和大规模并行SGD。

另一方面，成本的降低最终会被并行性能力、物理因素（例如芯片效率）限制。

我们认为，当今最大的训练运行使用的硬件成本需要数百万美元（尽管摊销成本要低得多）。但是，今天大多数神经网络算力仍然花在了推理（部署）上，而不是训练上，这意味着公司可以重新利用或购买更大数量的芯片用于训练。

因此，如果存在足够的经济激励，我们可能会看到更大规模的并行训练运行。这种趋势将持续几年。全世界每年的硬件总预算是1万亿美元，所以绝对的限制仍然很遥远。总体而言，考虑到上述数据、计算领域指数趋势的先例、ML定制硬件上的工作以及正在发挥作用的经济激励因素，我们认为，相信这种趋势短期内不会是一个错误。

过去的趋势不足以预测趋势在未来会持续多久，或者在趋势持续期间会发生什么。但是，即使是潜在的能力快速提升，也意味着现在必须着手解决AI的安全和恶意使用问题。这些对于负责任的决策和负责任的技术发展至关重要，我们必须领先于这些趋势，而不是迟来的反应。