AI人工智能和摩尔定律的后指数时代

毫不夸张地说，摩尔定律是过去五十年来世界上最重要的力量，它是世界计算能力令人难以置信的指数增长。因此，它的缓慢减速和/或消亡是一件大事，不仅仅是因为后果正在波及每个家庭和每个口袋。我的苹果MacBook Pro已有3年历史了，这是我一生中第一次拥有3年历史的主计算机，感觉就像没有危机，必须立即解决。没错，部分原因是我在等待苹果公司解决其键盘故障，部分原因是我仍然无法忍受Touch Bar。但这也是因为三年的性能增长已不再是过去。

我们所有人都寄希望于其他领域会成倍增长，这当然给了我们另一个相似的时代。人工智能/机器学习是一个巨大的希望，尤其是机器学习反馈循环的遥远梦想，人工智能数十年来以指数级的速度改善了人工智能。现在看来似乎不太可能。

实际上，它总是如此。几年前，我正与一家AI公司的首席执行官交谈，他认为AI进度基本上是S曲线，我们在声音处理方面已经达到了顶峰，在图像和视频方面已经接近顶峰，但还只是一半向上弯曲文本。

 

本周早些时候，OpenAI 发布了他们去年关于AI使用的计算能力如何增加的分析的更新，结果？它“以3.4个月的倍增时间呈指数增长（相比之下，摩尔定律有2年的倍增期）。自2012年以来，该指标已增长了300,000倍（两年的翻倍期只会产生7倍的增长）。”

知名网络安全专家，东方联盟创始人兼CEO郭盛华透露：那是改善AI技术状态的大量计算能力，很明显，这种计算增长无法持续。不是“不会”，令人遗憾的是，与摩尔定律的指数级增长的减少几乎同时发生了训练人工智能的计算能力需求的指数级增长。将更多的钱投入到这个问题上将无济于事，再次，我们在这里谈论的是指数增长率，线性费用调整不会动摇针。

 

得出的结论是，即使我们假设在效率方面取得了重大突破并提高了性能以降低翻倍率，但在我们计算能力的集体增长开始步履蹒跚之时，人工智能的进步似乎越来越受到计算机的限制。也许会有某种突破，但是如果没有突破，这听起来很像是我们正在寻找AI /机器学习进度，并且从现在开始不久，并且在可预见的将来趋于平稳。它从技术上衡量“最大规模的AI培训运行”，但这似乎具有指导意义。（欢迎转载分享）