刚刚，ICLR 2025时间检验奖颁给Adam之父！Bengio「注意力机制」摘亚军！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：新智元 ｜编辑：桃子 好困

【导读】ICLR 2025时间检验奖重磅揭晓！Yoshua Bengio与Diederik P. Kingma分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器，另一个注意力机制，彻底重塑深度学习的未来。

刚刚，ICLR 2025时间检验奖公布！

斩获大奖的是，Diederik P. Kingma和Jimmy Ba发表的Adam优化器。

获得亚军的是，Yoshua Bengio团队提出的「注意力机制」，为Transformer和大模型奠定了基础。

每年，ICLR时间检验奖都会颁给10年前发表，且对领域产生持久影响的论文。

滑铁卢大学CS助理教授Gautam Kamath做了一个总结：

• OpenAI联创Diederik P. Kingma已连续第二次拿下ICLR ToT大奖，去年因VAEs论文获奖

• 今年ToT冠军/亚军，全都授予加拿大高校的学者

• 2024年和2025年亚军来自NYU团队

时间检验奖

ICLR 2025时间检验奖公布，再次让所有人见证了深度学习领域的「黄金十年」。

Adam优化器让大模型训练更快更稳，注意力机制更是赋予了AI超强理解力，成为深度学习领域的重要里程碑。

Adam优化器：深度学习「加速引擎」

标题：Adam: A Method for Stochastic Optimization

作者：Diederik P. Kingma, Jimmy Ba

机构：阿姆斯特丹大学/OpenAI、多伦多大学

论文地址：https://arxiv.org/abs/1412.6980

如果说深度学习是一辆飞驰列车，那么Adam优化器就是它的「超级引擎」。

2015年，由Diederik P. Kingma和Jimmy Ba提出的Adam算法，彻底改变了神经网络训练的方式。

Adam全称是Adaptive Moment Estimation，通过结合梯度算法的一阶矩和二阶矩，自动调整学习率，不仅加速了模型收敛，还提升了训练的稳定性。

它之所以成为深度学习领域，重要的算法之一，其魅力在于不同领域和神经架构中的通用性与高效性。

无论是CV、NLP、还是RL，Adam几乎成为所有深度学习模型的默认优化器，成为无数顶尖模型的基石。

注意力机制：Transformer前世今生

标题：Neural Machine Translation by Jointly Learning to Align and Translate)

作者：Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

机构：康斯特大学、蒙特利尔大学

论文地址：https://arxiv.org/abs/1409.0473

由Yoshua Bengio带队这篇论文，首次引入了注意力机制（Attention Mechanism），为现代深度学习架构奠定了基础。

它从根本上改变了序列到序列模型处理信息的方式。

在此之前，编码器-解码器架构通常将整个输入序列，压缩成固定长度向量，面对较长序列往往捉襟见肘。

Bengio团队的突破在于，让模型能够「动态关注」输入序列相关部分，极大地提升了翻译任务的性能。

要知道，这篇论文的影响力远远超出了机器翻译领域。

2017年，Attention is All You Need开山之作出世，注意力机制成为了Transformer模型的核心，催生了BERT、GPT系等大模型的繁荣。

如今，几乎所有顶尖的AI模型都离不开注意力机制的加持。

正因如此，这篇论文也被业界誉为「现代深度学习的基石」。

深度学习巨擘领衔

这两篇2015年里程碑式论文荣登榜首，分别是由图灵奖得主Yoshua Bengio，以及Jimmy Ba领衔。

正如Gautam Kamath所指出那样，加拿大在深度学习领域的领先地位。

Diederik P. Kingma

除了Adam之外，他也是VAE、Glow等发明者。谷歌学术被引即将超30万次。

Diederik P. Kingma履历

目前任职于 Anthropic 公司。

2018-2024：谷歌大脑/DeepMind的研究科学家。领导各种研究项目，主要是文本、图像和视频的生成模型。

2015-2018：OpenAI （旧金山）创始团队和研究科学家的一部分。领导算法团队，专注于基础研究。

2013年至2017年：阿姆斯特丹大学 博士（cum laude），导师为Max Welling，研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。

Jimmy Ba

作为Adam论文共同作者，Jimmy Ba的学术轨迹堪称耀眼。

他分别于2011年和2014年获得了多伦多大学本科与硕士学位，分别师从Brendan Frey和Ruslan Salakhutdinov教授。

博士期间，他又在多伦多大学跟着Geoffrey Hinton学习。

Jimmy Ba的长期研究目标致力于解决一个核心计算问题：如何构建具备类人效率和适应性的通用问题求解机器？

具体而言，他的研究聚焦于为深度神经网络开发高效的学习算法。

他的研究成果频频亮相NeurIPS、ICLR和ICML顶会，2016年更是摘得Facebook机器学习方向研究生奖学金（Facebook Graduate Fellowship）。

目前，Google Scholar主页显示，Adam这篇论文被引超20万。

Yoshua Bengio

提到Yoshua Bengio，AI界无人不晓。

作为深度学习三巨头之一，他的每项研究都在改写AI的历史。

Yoshua Bengio，生于1964年3月5日是一位加拿大-法国籍计算机科学家，也是人工神经网络和深度学习领域的先驱。他是蒙特利尔大学的教授，也是AI研究所MILA的科学总监。

他在麦吉尔大学获得了理学学士学位（电气工程）、理学硕士学位（计算机科学）和博士学位（计算机科学）。

获得博士学位后，Bengio曾在MIT（导师是Michael I. Jordan）和AT&T贝尔实验室担任博士后研究员。

自1993年以来，他一直是蒙特利尔大学的教员，领导着MILA，并且是加拿大高等研究院（CIFAR）「机器与大脑学习」项目的联合主任。

2017年，Bengio被授予加拿大勋章。同年，他被提名为加拿大皇家学会会士，并获得了Marie-Victorin Quebec奖。

2018年，他与Geoffrey Hinton和Yann LeCun因其在深度学习领域的基础性工作，共同获得了计算领域的「诺贝尔奖」——ACM图灵奖。

2020年，他当选为英国皇家学会会士。2022年，他与Geoffrey Hinton、Yann LeCun和Demis Hassabis共同获得了「科学研究」类别的阿斯图里亚斯女亲王奖。

2023年，Bengio被授予法国最高荣誉勋章——荣誉军团骑士勋章。同年，被评为ACM Fellow。

2025年，Bengio与Bill Dally、Geoffrey E. Hinton、John Hopfield、Yann LeCun、黄仁勋和李飞飞共同获得了伊丽莎白女王工程奖。

Google Scholar个人主页中，Bengio总被引数破90万，其中被引量最高的论文便是与LeCun和Hinton共同撰写的「深度学习」的论文。

有趣的是，他的兄弟Samy Bengio也是一位在神经网络领域很有影响力的计算机科学家，目前担任苹果AI和机器学习研究高级总监。

参考资料：

https://blog.iclr.cc/2025/04/14/announcing-the-test-of-time-award-winners-from-iclr-2015

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载

在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看