AI和算力(from OpenAI)

OpenAI发布的一项分析显示,自2012年以来,最大的人工智能训练运行中使用的计算量呈指数级增长,翻倍时间为3.4个月(相比之下,摩尔定律的翻倍时间为2年)。自2012年以来,这一指标增长了30多万倍(两年的翻倍期只能产生7倍的增长)。计算能力的提高是人工智能进步的一个关键组成部分,因此,只要这一趋势继续下去,就值得为远远超出当今能力的系统的影响做好准备。

训练相对知名的模型的总计算量(以petaflop/s-day为单位)需要使用大量计算时间,并提供了足够的信息来估计使用的计算量。

petaflops/s-daya(pfs-day):一千万亿次/秒-天(pfs-day)包括每秒执行1015次神经网络运算,持续一天,或总共约1020次运算。计算时间乘积的作用是方便记忆,类似于kW-hr之于能量。我们不测量硬件的峰值理论FLOPS,而是尝试估计实际执行的操作数。我们把加法和乘法算作单独的操作,我们把任何加法或乘法算作一个操作,而不管数值精度(使“FLOP”有点用词不当),我们忽略了集成模型。所示最佳拟合线的加倍时间为3.4个月。

概览

三个因素推动了AI的进步:算法创新、数据(可以是监督数据或交互环境)以及可用于训练的算力。算法创新和数据难以跟踪,但算力是可以量化的,这为衡量人工智能的进展提供了机会。

当然,海量算力的使用有时只是暴露了我们当前算法的缺点。但至少在当前的许多领域中,更多的算力似乎可以预见地导致更好的性能,并且通常与算法进步相辅相成。

基于此分析,我们认为算力相关的数字不是单个GPU的速度,也不是最大的数据中心的容量,而是用于训练单个模型的计算量——这是最可能说明我们的模型有多强大的数字。

每个模型所需的算力与总的算力需求有很大的不同,因为并行度的限制(硬件和算法)限制了一个模型可以有多大,或者多少算力可以有效的有用训练。当然,重要的突破仍然是在适度的算力下取得的——本分析仅涉及计算能力。

趋势表明,算力每年大约以10倍的速度增长。这得益于定制硬件(GPU/TPU)在单位价格上每秒可以执行更多的操作。这主要是由研究人员反复寻找并行使用更多芯片的方法,并愿意为此支付经济成本推动的。

发展阶段

从图中我们可以大致看到四个不同的时代:

2012年之前使用GPU进行ML并不常见,这使得图中的任何结果都很难实现。
2012年~2014年在许多GPU上进行训练的情况并不常见,因此大多数结果使用了1-8个额定为1-2 TFLOPS的GPU,总计0.001-0.1 pfs-day。
2014年~2016年大规模结果使用10-100个GPU,额定值为5-10 TFLOPS,结果为0.1-10 pfs-day。数据并行性的回报减少意味着更大的训练运行的价值有限。
2016年~2017年允许更大的算法并行性(如巨大的批处理大小、架构搜索和专家迭代)的方法,以及专门的硬件(如TPU和更快的互连)大大增加了这些限制,至少对于某些应用程序是如此。

AlphaGoZero/AlphaZero是大规模算法并行的最明显的例子,这种规模的许多其他应用在算法上也是可能的,并且可能已经在生产环境中发生。

展望未来

我们相信图表中的趋势可能会持续下去。许多硬件初创公司都在开发AI专用芯片,其中一些公司声称他们将在未来1-2年实现 FLOPS/$ 的大幅提高。通过简单地重新配置硬件以执行相同数量的操作以减少经济成本,也可能会有好处。在并行性方面,上面描述的许多最近的算法创新在原则上可以相互结合,例如架构搜索和大规模并行SGD。

另一方面,成本的降低最终会被并行性能力、物理因素(例如芯片效率)限制。

我们认为,当今最大的训练运行使用的硬件成本需要数百万美元(尽管摊销成本要低得多)。但是,今天大多数神经网络算力仍然花在了推理(部署)上,而不是训练上,这意味着公司可以重新利用或购买更大数量的芯片用于训练。

因此,如果存在足够的经济激励,我们可能会看到更大规模的并行训练运行。这种趋势将持续几年。全世界每年的硬件总预算是1万亿美元,所以绝对的限制仍然很遥远。总体而言,考虑到上述数据、计算领域指数趋势的先例、ML定制硬件上的工作以及正在发挥作用的经济激励因素,我们认为,相信这种趋势短期内不会是一个错误。

过去的趋势不足以预测趋势在未来会持续多久,或者在趋势持续期间会发生什么。但是,即使是潜在的能力快速提升,也意味着现在必须着手解决AI的安全和恶意使用问题。这些对于负责任的决策和负责任的技术发展至关重要,我们必须领先于这些趋势,而不是迟来的反应。

  • 34
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值