“计算机界诺贝尔奖”官宣！ACM图灵奖授予强化学习领域的两位奠基人

小敢摘葡萄

于 2025-03-06 10:22:01 发布

阅读量1k

点赞数 23

文章标签：机器人人工智能 AI写作深度学习架构 transformer

本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/146061038

版权

纽约州纽约市——2025年3月5日——美国计算机学会ACM今天宣布 Andrew Barto 和 Richard Sutton 获得2024年ACM A.M.图灵奖，以表彰他们开发了强化学习的概念和算法基础。就强化学习而言，从20世纪80年代开始，Barto和Sutton在其一系列论文中介绍了主要理念，构建了数学基础，并开发了的重要算法——这是创建智能系统的最重要方法之一。

Andrew Barto

Richard Sutton

Barto 是马萨诸塞大学阿姆赫斯特分校信息与计算机科学系的名誉教授。Sutton 是阿尔伯塔大学的计算机科学教授，也是Keen Technologies的研究科学家。

ACM A.M.图灵奖通常被称为“计算领域的诺贝尔奖”，由谷歌公司提供财政支持，奖金为100万美元。该奖项的名称取自阐明计算数学基础的英国数学家Alan M. Turing。

什么是强化学习**？**

｜_Reinforcement Learning_

人工智能（AI）领域通常涉及构建智能体（agents），即感知和行动的实体。更智能的智能体是指选择更好行动方案的智能体。因此，一些行动方案相较其他更好的概念是AI的核心。奖励（reward）——一个借自心理学和神经科学的术语——表示提供给智能体的与其行为质量相关的信号。强化学习（RL）是在给定该信号的情况下学习更成功地表现的过程。

从奖励中学习的理念对动物训练师来说已有数千年的历史。艾伦·图灵在1950年的论文《Computing Machinery and Intelligence》中讨论了“机器能思考吗？”的问题并提出了一种基于奖惩的机器学习方法。

虽然图灵报告说已经用这种方法进行了一些初步实验，而且Arthur Samuel在20世纪50年代末开发了一个从自对弈中学习的跳棋博弈程序，但在接下来的几十年里，AI在这一方向没有取得进一步的进展。20世纪80年代初，受心理学观察的启发，Barto和他的博士学生Sutton开始将强化学习构建为一个通用问题框架。

他们借鉴了Markov决策过程（MDP）提供的数学基础，其中智能体在随机（随机确定的）环境中做出决策，在每次转换后接收奖励信号，并以最大化其长期累积奖励为目标。标准的MDP理论假设智能体知道关于MDP的一切，而强化学习框架允许环境和奖励是未知的。强化学习的最低信息要求与MDP框架的通用性相结合，允许强化学习算法应用于广泛的问题，下面将进一步解释。

Barto和Sutton与其他研究人员合作发展了许多强化学习的基本算法方法。其中最重要的贡献之一是时间差分学习（Temporal Difference Learning），该算法在解决奖励预测问题方面取得了重要进展。此外还包括策略梯度方法和使用神经网络作为工具来表示习得的功能。他们还提出了结合学习和规划的智能体设计，展示了获取环境知识作为规划基础的价值。

同样有影响力的是他们的教科书《Reinforcement Learning:An Introduction(1998)》，这本书仍然是该领域的标准参考书目，被引次数已超过75,000次。这本教科书让成千上万的研究人员能够理解这一新兴领域并为之做出贡献，并继续激励着当今计算机科学中许多重要的研究活动。

尽管Barto和Sutton的算法是在数十年前开发的，但通过将RL与深度学习算法（由2018年图灵奖获得者Bengio、Hinton和LeCun开创）融合，强化学习的实际应用在过去十五年里取得了重大进展。从而产生了深度强化学习技术。

强化学习最著名的应用之一是AlphaGo 在 2016 和 2017 年击败世界顶级围棋选手。另一个重要进展是聊天机器人ChatGPT的演变。ChatGPT是一个分两阶段训练的大型语言模型（LLM），其中第二阶段采用了**“基于人类反馈的强化学习”（RLHF）**技术来捕捉人类的期望。

此外，强化学习还在多个领域取得成功。例如：

 ·**机器人运动技能学习**，一个备受瞩目的研究案例是手持机器人操纵和解决物理问题（鲁比克魔方）过程中的机器人运动技能学习，这表明有可能在模拟中进行所有强化学习，但最终在截然不同的现实世界中取得成功。



·**网络拥塞控制**、**芯片设计**、**互联网广告**、**优化**等技术领域。



·**全球供应链优化**、**提高聊天机器人的行为和推理能力**，甚至改进计算机科学中最古老的问题之一“**矩阵乘法**”的算法。



·**神经科学研究**，最近的研究，包括Barto的工作，表明AI中开发的特定强化学习算法为关于人脑中多巴胺系统的广泛发现提供了最佳解释。

ACM 主席 Yannis Ioannidis 表示：“Barto和Sutton的工作展示了应用多学科方法应对我们领域长期挑战的巨大潜力。从认知科学、心理学到神经科学的研究领域激发了强化学习的发展，这为AI的一些最重要的进展奠定了基础，并让我们更深入地了解到大脑的工作原理。Barto和Sutton的工作并不是我们已经跨越的垫脚石。强化学习仍在不断发展，并为计算和许多其他学科的进一步发展提供了巨大的潜力。这个领域最有声望的奖项对于他们而言，实至名归。”

谷歌高级副总裁 Jeff Dean 说道：“艾伦·图灵在1947年的一次演讲中提到‘我们想要的是一台能够从经验中学习的机器’。由Barto和Sutton开创的强化学习直接回答了图灵的问题。他们的工作是过去几十年AI进步的关键。他们开发的工具仍然是AI繁荣的核心支柱，并取得了重大进展，吸引了大批年轻研究人员，并带动了数十亿美元的投资。RL的影响将延续到未来。谷歌很荣幸赞助ACM A.M.图灵奖，并向那些塑造了改善我们生活的技术的个人致敬。”

Andrew G. Barto

_Andrew Barto_是马萨诸塞大学阿姆赫斯特分校信息与计算机科学系的名誉教授。他于1977年在马萨诸塞大学阿姆赫斯特分校作为博士后研究助理开始了他的职业生涯，后续担任过副教授、教授和系主任等各种职务。Barto在密歇根大学获得了数学学士学位（成绩优异）以及计算机与通信科学的硕士和博士学位。

Barto收获的奖项包括马萨诸塞大学神经科学终身成就奖、IJCAI卓越研究奖和IEEE神经网络学会先锋奖。他是电气电子工程师协会（IEEE）的会员，也是美国科学促进协会（AAAS）的会士。

Richard S. Sutton

Richard Sutton 是阿尔伯塔大学计算机科学教授、Keen Technologies（总部位于德克萨斯州达拉斯的一家通用人工智能公司）研究科学家，同时担任阿尔伯塔机器智能研究所（Amii）的首席科学顾问。Sutton 曾在 2017 年至 2023 年期间担任 DeepMind 的杰出研究科学家。在加入阿尔伯塔大学之前，他曾于 1998 年至 2002 年在新泽西州弗洛勒姆帕克的 AT&T 香农实验室人工智能部门担任首席技术研究员。

Sutton和Andrew Barto的合作于1978年在马萨诸塞大学阿姆赫斯特分校开始，当时Barto是Sutton的博士和博士后导师。Sutton在斯坦福大学获得心理学学士学位，并在马萨诸塞大学阿姆赫斯特分校获得计算机与信息科学硕士和博士学位。

Sutton 曾获得国际人工智能联合会议（IJCAI）卓越研究奖、加拿大人工智能协会终身成就奖，以及马萨诸塞大学阿默斯特分校杰出研究成就奖。他是英国皇家学会会士、人工智能促进会（AAAI）会士及加拿大皇家学会会士。

关于 ACM A.M. 图灵奖

A.M. 图灵奖以英国数学家艾伦·图灵（Alan M. Turing）命名，他阐明了计算的数学基础，也是第二次世界大战期间盟军破译Enigma密码的主要贡献者。图灵奖自1966年设立以来一直致力于表彰那些创造了推动信息技术产业发展的系统及其潜在理论基础的计算机科学家和工程师。

关于 ACM

美国计算机学会（Association for Computing Machinery，简称 ACM）作为全球规模最大的计算机教育与科学研究学会，致力于汇聚教育工作者、研究人员和专业人士，促进学术交流，共享资源，共同应对学科发展的重大挑战。ACM 通过卓越的领导力、推广最高专业标准以及表彰技术卓越成就，有力地凝聚了计算机专业的集体声音。ACM 通过提供终身学习、职业发展和专业网络交流的机会，全面支持会员的专业成长。