快来看 2024年ICLR杰出论文奖揭晓啦 值得关注

会议之眼 快讯

在人工智能的浪潮中，国际学习表征会议（ICLR）无疑是引领学术前沿的重要会议之一！ICLR是深度学习领域的顶级会议之一，由深度学习领域的两位巨头Yoshua Bengio和Yann LeCun于2013年创办。

2024年5月6日，官网宣布了ICLR的杰出论文奖和荣誉提名论文，吸引了众多学者的目光，今天我们一起来看看这些优秀的研究成果吧！

评审委员会

本次大会由Eunsol Choi, Katja Hofmann, Ming-Yu Liu, Nan Jiang, Stephan Günnemann, Suvrit Sra, Thomas Kipf, 和 Volkan Cevher组成的奖项委员会负责评选。

奖项类别

杰出论文奖（Outstanding Paper winners）：共5篇

荣誉提名（Honorable Mentions）：共11篇

ICLR 2024杰出论文奖获奖论文

1、Generalization in diffusion models arises from geometry-adaptive harmonic representations

作者: Zahra Kadkhodaie, Florentin Guth, Eero P Simoncelli, Stéphane Mallat

简介: 这篇论文深入分析了图像扩散模型的泛化和记忆方面。作者通过实证研究了图像生成模型从记忆输入转向泛化机制的条件，并提出了一种解释这种现象的方法，即通过“几何自适应谐波表示”将模型结构归纳偏差与谐波分析理论联系起来。这项工作填补了我们对视觉生成模型理解的重要空白，并可能激励未来在这一领域的重要理论工作。

2、Learning Interactive Real-World Simulators

作者: Sherry Yang, Yilun Du, Seyed Kamyar Seyed Ghasemipour, Jonathan Tompson, Leslie Pack Kaelbling, Dale Schuurmans, Pieter Abbeel

简介: 这篇论文介绍了UniSim项目，这是一个在多源数据聚合方面的重要步骤，旨在训练用于机器人学的基础模型。该工作通过利用视觉和语言领域最新的进展，基于视觉感知和控制文本描述的统一接口来聚合数据，并训练机器人模拟器，是一个工程壮举。

3、Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

作者: Ido Amos, Jonathan Berant, Ankit Gupta

简介: 论文深入探讨了最近提出的状态空间模型和变换器架构对长期序列依赖性的建模能力。作者意外地发现，从头开始训练变换器模型会导致对其性能的低估，并展示了通过预训练和微调设置可以实现显著的性能提升。这篇论文执行得非常出色，并以其对简单性和系统性洞察的专注而脱颖而出。

4、Protein Discovery with Discrete Walk-Jump Sampling

作者: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

简介: 这篇论文针对基于序列的抗体设计问题，这是一个对蛋白质序列生成模型而言既及时又重要的应用。作者介绍了一种创新而有效的新建模方法，专门针对处理离散蛋白质序列数据的问题。除了在硅片上验证该方法外，作者还进行了广泛的湿实验室实验，以测量抗体的体外结合亲和力，证明了他们生成方法的有效性。

5、Vision Transformers Need Registers

作者: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

简介: 论文识别了视觉变换器网络特征图中的人工特征，这些特征表现为低信息背景区域中的高范数标记。作者为这一现象提供了关键的假设，并提供了一个简单而优雅的解决方案，即使用额外的寄存器标记来解决这些人工特征，增强了模型在各种任务。

荣誉提名论文

1、Amortizing intractable inference in large language models

作者: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Nikolay Malkin

简介: 提出了一种从贝叶斯推断角度出发的大型语言模型（LLMs）自回归解码的替代方法，这种方法可能会激发后续研究。

2、Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

作者: Ian Gemp, Luke Marris, Georgios Piliouras

简介: 一篇写作非常清晰的论文，针对开发高效且可扩展的纳什均衡求解器这一重要问题取得了进展。

3、Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

作者: Bohang Zhang, Jingchu Gai, Yiheng Du, Qiwei Ye, Di He, Liwei Wang

简介: 提出了一种新的基于同态计数的“表达性理论”，以解决当前图神经网络（GNNs）表达性解决方案（如Weisfeiler-Lehman测试）存在的局限性。

4、Flow Matching on General Geometries

作者: Ricky T. Q. Chen, Yaron Lipman

简介: 论文解决了在一般几何流形上进行生成建模的挑战性问题，提出了一种实用且高效的算法，并在广泛的任务上进行了全面的实验验证。

5、Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

作者: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis

简介: 提出了一种自监督图像预训练的新方法，通过从连续视频中学习，论文不仅贡献了新类型的数据，还提供了一种从新数据中学习的方法。

6、Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

作者: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, Ying Wei

简介: 作者提出了一种新的元连续学习方差减少方法，这种方法不仅具有实际影响，而且通过遗憾分析得到了支持。

7、Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

作者: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao

简介: 针对基于变换器的LLMs的关键KV缓存压缩问题，提出了一种简单有效的方法，可以不经过资源密集的微调或重新训练即可部署。

8、Proving Test Set Contamination in Black-Box Language Models

作者: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto

简介: 提出了一种简单而优雅的测试方法，用以检验监督学习数据集是否包含在LLM训练中。

9、Robust agents learn causal world models

作者: Jonathan Richens, Tom Everitt

简介: 论文在理论上为理解因果推理在代理推广到新领域中的作用奠定了基础，可能对相关领域产生影响。

10、The mechanistic basis of data dependence and abrupt learning in an in-context classification task

作者: Gautam Reddy

简介: 对在上下文分类任务中数据依赖性和学习骤变的机理进行了及时且系统的研究。

11、Towards a statistical theory of data selection under weak supervision

作者: Germain Kolossov, Andrea Montanari, Pulkit Tandon

简介: 论文为弱监督下的数据子集选择建立了统计基础，并指出了流行数据选择方法的不足。

ICLR的这些杰出论文和荣誉提名，不仅是对作者们辛勤工作的肯定，更是对整个AI领域的一次激励。它们代表了人工智能最前沿的研究方向，预示着未来技术发展的趋势。让我们向这些创新者致敬，期待他们为人类社会带来更多的惊喜和变革！