Compute Goes Brrr：重温强化学习之父Sutton关于AI的70年惨痛教训

导语：所以，“惨痛教训”是对是错？可能既不是这边，也不是那边。
译者：AI研习社（Key）
双语原文链接：Compute Goes Brrr: Revisiting Sutton’s Bitter Lesson for Artificial Intelligence

回顾理查德·萨顿关于AI的惨痛教训

就在不久前的过去，在一个与我们今天相差无几的世界上，在达特茅斯学院，有这样一个雄心勃勃的项目，志在弥合人类与机器智能之间的鸿沟。那是1956年。虽然达特茅斯夏季人工智能研究项目并不是第一个对思考机器的潜力提出设想的研究项目，但它的确为这个领域取了一个公认的名字（“人工智能”），并建立了由具有影响力的研究者们所组成的一座“万神殿”。在约翰·麦卡锡、马文·闵斯基、克劳德·香农与纳撒尼尔·罗切斯特共同撰写的提案中，作者们的目标虽然仍不成熟，但他们的雄心壮志，即使今天看来也足够奇妙有趣。

（我们）将致力于探索如何让机器使用语言，形成归纳和概念，解决现在只有人类可以涉足的各种问题，并进行自我改良。我们认为，如果一个经过精心挑选的科学家团队在一起工作一个夏天，就可以在其中的一个或多个问题上取得重大进展。——《达特茅斯夏季人工智能研究项目提案》，1955年

最初的人工智能

从那时起到现在，关于人工智能的研究，经历过车水马龙的盛况，也不乏门可罗雀的冷落。在1956年，盛行的方法包括元胞自动机、控制论（cybernetics）、信息论。随着时间的流逝，专家系统、形式推理、连接主义等方法也轮番亮相，各领风骚。

今日，AI的复兴源于连接主义一脉相承的最新成果——深度学习。尽管一些新思想的确也在这个领域造成了相当大的冲击（仅举几例：注意力机制、残差连接、批量归一化），大部分关于建立和训练深度神经网络的思想，早在上世纪八九十年代就已经被提出。然而今天，AI与AI相关的技术所扮演的角色，却并不是任何在之前的“AI之春”中活跃的研究者所想象的那个样子。例如，几乎没有人能预见到，广告科技（adtech）和算法驱动的新闻供稿的盛行与社会反响。我也很确信，他们中的很多人会为今天的社会如此缺少仿真机器人而感到失望。

约翰·麦卡锡，达特茅斯提案的共同作者，以及“人工智能”一词的发明者。图源

约翰·麦卡锡曾经抱怨过，落实到现实世界的AI技术，总是会变得不那么吸引人，并会逐渐失去“AI”的名字。不过，这并非我们今天所见的现象——也许我们要归咎于风险投资和政府基金，因为是它们鼓励大家去做了截然相反的事情。伦敦风险投资公司MMC的一份调查显示，在2019年的欧洲，高达40%自称的AI创业公司实际上并不将AI作为它们业务的核心构成部分。

深度学习与AI研究之间的区别

深度学习时代与之前那些AI研究的那些暖春期之间的区别，似乎可以被归结为摩尔定律的S形曲线。许多人将“ImageNet时刻”视为今天AI/ML复兴的起点——一个名叫AlexNet的模型，以压倒性优势赢得了2012年ImageNet大规模视觉识别挑战赛（ILSVRC）。AlexNet的结构，与在它20多年前就被提出的LeNet-5并没有很大的差别。

拥有5个卷积层的AlexNet，比拥有3个的LeNet要稍大一些。它总共有8层，而LeNet有7层（其中2层是池化层）。而其中的重大突破，则在于图形处理单元（GPU）以并行处理的方式实现最基础的神经网络运算（卷积与矩阵乘法），