ICLR2024时间检验奖和最佳论文奖（RL、LLM、NN、TS、transformer、diffusion）

第十二届学习表征国际会议（ICLR2024）2024年5月7日至2024年5月11日在奥地利维也纳展览会议中心举行，此次会议共收到了7262篇投稿，总体录用率约为31%，其中spotlights论文的录用率为5%（约有363篇），Oral论文的录用率为1.2%（约有85篇）。会议热点仍然集中在RL、LLM、NN、TS、transformer、diffusion等研究方向。

一、时间检验奖 Test of Time

今年是ICLR举办的第 12 个年头！ICLR增加了首届 ICLR 时间考验奖，冠亚军分别为自动编码变分贝叶斯 和 神经网络的有趣特性。

1. Auto-Encoding Variational Bayes

Diederik Kingma, Max Welling

概率建模是我们推理世界的最基本方式之一。本文率先将深度学习与可扩展概率推理（通过所谓的重新参数化技巧进行摊销平均场变分推理）相结合，从而产生了变分自动编码器（VAE）。这件作品的持久价值源于其优雅。用于开发 VAE 的原理加深了我们对深度学习和概率建模之间相互作用的理解，并引发了许多后续有趣的概率模型和编码方法的开发。 Rezende 等人同时进行的工作。在 ICML 2014 发表的题为“Stochastic Backpropagation and Approximate Inference in Deep Generative Models”的论文中也提出了类似的想法。

在存在具有难以处理的后验分布的连续潜在变量和大型数据集的情况下，我们如何在有向概率模型中执行有效的推理和学习？我们介绍了一个随机变分推理和学习算法，它可以扩展到大数据集，在一些温和的可微条件下，甚至可以在棘手的情况下工作。我们的贡献是双重的。首先，我们证明了变分下界的重新参数化产生了一个下界估计，它可以用标准的随机梯度方法直接优化。其次，我们表明，对于每个数据点具有连续潜在变量的独立同分布数据集，通过使用所提出的下限估计量将近似推理模型(也称为识别模型)拟合到难以处理的后验，后验推理可以变得特别有效。理论优势体现在实验结果中。

 2. Intriguing properties of neural networks

Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus 

随着深度神经网络在实际应用中的日益普及，了解神经网络何时以及如何表现出不良行为非常重要。本文强调了这样一个问题：神经网络可能容易受到输入的几乎难以察觉的微小变化的影响。这个想法催生了对抗性攻击（试图愚弄神经网络）和对抗性防御（训练神经网络不被愚弄）领域。 深度神经网络是高度表达的模型，最近在语音和视觉识别任务上取得了最先进的性能。虽然他们的表现力是他们成功的原因，但这也导致他们学到了无法解释的解决方案，这些解决方案可能具有反直觉的特性。在本文中，我们报告了两个这样的性质。 首先，根据各种单元分析方法，我们发现单个高级别单元和高级别单元的随机线性组合之间没有区别。这表明在神经网络的高层中包含语义信息的是空间，而不是单个单元。 第二，我们发现深度神经网络学习相当不连续到显著程度的输入输出映射。我们可以通过应用某种察觉不到的扰动来使网络对图像进行错误分类，这种扰动是通过最大化网络的预测误差来发现的。此外，这些扰动的特定性质不是学习的随机产物:相同的扰动可能导致在数据集的不同子集上训练的不同网络对相同的输入进行错误分类。 

二、最佳论文奖

ICLR 2024 共有 5 篇优秀论文获得者和 11 篇荣誉奖。下面列举了这5篇优秀论文。

1. Generalization in diffusion models arises from geometry-adaptive harmonic representations

扩散模型的泛化源于几何自适应调和表示

Zahra Kadkhodaie、Florentin Guth、Eero P Simoncelli、Stéphane Mallat 

本文对图像扩散模型的泛化和记忆方面进行了重要的深入分析。作者根据经验研究了图像生成模型何时从记忆输入切换到泛化机制，并通过“几何自适应谐波表示”与谐波分析的思想相联系，进一步从架构归纳偏差方面解释了这种现象。这篇论文涵盖了我们对视觉生成模型的理解中缺失的一个关键部分，并且可能会激发该领域未来的重要理论工作。 

2. Learning Interactive Real-World Simulators

学习交互式现实世界模拟器

Sherry Yang、Yilun Du、Seyed Kamyar Seyed Ghasemipour、Jonathan Tompson、Leslie Pack Kaelbling、Dale Schuurmans、Pieter Abbeel 

基于互联网数据的生成模型彻底改变了文本、图像和视频内容的创作方式。也许生成模型的下一个里程碑是模拟现实体验以响应人类、机器人和其他交互式代理采取的行动。现实世界模拟器的应用范围从游戏和电影中的可控内容创建到纯粹在模拟中训练可直接部署在现实世界中的具体化代理。我们探索了通过生成建模学习现实世界交互的通用模拟器（UniSim）的可能性。我们首先进行了重要的观察，即可用于学习真实世界模拟器的自然数据集通常沿着不同的轴丰富（例如，图像数据中丰富的对象、机器人数据中密集采样的动作以及导航数据中多样的运动）。通过精心编排不同的数据集（每个数据集都提供整体体验的不同方面），UniSim可以通过模拟高级指令（如“打开抽屉”）和低级控制（如从其他静态场景和对象移动x，y）的视觉结果来模拟人类和智能体与世界的交互方式。这种真实世界的模拟器有很多用例。作为一个例子，我们使用UniSim来训练高级视觉语言规划者和低级强化学习策略，其中每一种策略在纯粹在学习过的真实世界模拟器中训练后都表现出零射门的真实世界迁移。我们还表明，其他类型的智能（如视频字幕模型）可以从UniSim中的模拟体验培训中受益，从而开辟更广泛的应用。 

3. Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

不要从头开始训练：长序列模型的公平比较需要数据驱动的先验

Ido Amos、Jonathan Berant、Ankit Gupta 

本文深入了解最近提出的状态空间模型和变压器架构对长期顺序依赖关系进行建模的能力。令人惊讶的是，作者发现从头开始训练 Transformer 模型会导致对其性能的低估，并证明通过预训练和微调设置可以实现巨大的收益。这篇论文的执行非常出色，在注重简单性和系统性见解方面堪称典范。

4. Protein Discovery with Discrete Walk-Jump Sampling

通过离散步跳采样发现蛋白质

Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi 

本文解决了基于序列的抗体设计问题，这是蛋白质序列生成模型的及时而重要的应用。为此，作者引入了一种创新且有效的新建模方法，专门针对处理离散蛋白质序列数据的问题而定制。除了在计算机上验证该方法之外，作者还进行了广泛的湿实验室实验来测量体外抗体结合亲和力，证明了其生成方法的有效性。

5. Vision Transformers Need Registers

视觉Transformers需要注册

Timothée Darcet、Maxime Oquab、Julien Mairal、Piotr Bojanowski 

本文识别了视觉Transformers网络特征图中的伪影，其特征是低信息背景区域中的高范数标记。作者提供了关于为什么会发生这种情况的关键假设，并提供了一个简单而优雅的解决方案来使用额外的寄存器token来解决这些工件，从而增强模型在各种任务上的性能。从这项工作中获得的见解也可以影响其他应用领域。这篇论文写得非常好，提供了一个很好的研究示例——识别问题，理解问题发生的原因，然后提供解决方案。 

---

论文的PDF我已经下载好了，同时还有整理的研究生及SCI论文攻略合集，90%以上都有代码，这些都可以无偿分享给你

可以到我的公众号【学长论文指导】回复【211】自取哦！

论文资料包：1、SCI论文写作、投稿、修改助手、插图规范

2、SCI管理软件、英语写作辅助和润色、写作与画图必备神器

3、SCI 写作套路化模板（高级句型）

4、上千份八大主流神经网络及变体、大模型、AIGC等AI各方向论文及代码

5、写论文必备书籍

6、历年来及最新AI优秀顶刊论文合集

咨询【AI交叉学科、SCI、CCF-ABC、期刊、会议、本硕博论文、在职论文指导、 润色发刊】等论文辅导+kaggle带队拿牌+技术问题答疑+公开课直播

手把手带你从做科研到论文发表，一条龙全方位指导！避免各种常见or离谱的坑，顺顺利利学习，快快乐乐毕业~ 0基础也能发论文吗?导师放养？毕业压力？找不到热点课题和方向没有idea、没有数据集，实验验证不了、代码跑不通没有写作基础、不知道论文的含金量，高区低投、不清楚不了解完整的科研经验，评职称、申博压力、自我高区位的追求  都可以了解