ICLR,全称为International Conference on Learning Representations(国际学习表征会议),是深度学习领域的顶级国际会议之一。ICLR 2025年会议将展示人工智能和深度学习领域的最新进展和突破性研究,对于研究者而言,及时追踪这些前沿动态不仅能够把握技术演进脉络,更能为科研方向选择提供重要参考,在日益激烈的学术竞争中占据先发优势。
本文作者为邓镝,审核为韩煦。
一、会议介绍
国际表征学习大会(ICLR)是致力于推动人工智能分支——表征学习(通常称为深度学习)发展的顶尖专业会议。该会议以展示和发表人工智能、统计学与数据科学领域深度学习前沿研究而享誉全球,涵盖机器视觉、计算生物学、语音识别、文本理解、游戏及机器人等重要应用领域。
作为全球增长最快的人工智能会议之一,ICLR汇聚了多元背景的参与者,包括学术界与工业界研究人员、创业者、工程师、研究生及博士后等。深度学习这一快速发展的领域聚焦于如何最优地学习数据中有意义且有效的表征。ICLR以广阔视角涵盖该领域诸多主题,包括特征学习、度量学习、组合建模、结构化预测、强化学习,以及大规模学习和非凸优化等相关议题。
它的讨论主题领域广泛,包括无监督、半监督及有监督表征学习,规划与强化学习的表征学习,度量学习与核学习,稀疏编码与维度扩展,分层模型架构,表征学习的优化方法,输出或状态的表征学习,实现技术、并行化、软件平台与硬件支持,在视觉、音频、语音、自然语言处理、机器人学、神经科学等领域的应用。
官方主页:https://www.iclr.cc/
二、ICLR 2025录用情况
ICLR 2025采用线上线下结合的方式举行。ICLR最近5年的录用情况见表1。2025年ICLR收到研讨会提案达122个(同比增长18%),其中40个获选(同比增长100%)。论文投稿总量11,565篇,相比去年超出4000余篇,录用率32.08%。与去年相比,论文的提交和录用数量均有显著增长,录用率有所升高。其中约5.1%的优秀论文入选Spotlight(聚光灯/特别关注)或Oral Presentation(口头报告)环节。这些数据不仅反映了会议影响力的持续提升,也预示着AI领域学术竞争的日趋激烈。
表1 ICLR近五年录用情况
举办年份 | 接受数量 | 录用数量 | 录用率 |
2025 | 11565 | 3710 | 32.08% |
2024 | 7262 | 2251 | 31% |
2023 | 4922 | 1565 | 31.80% |
2022 | 3391 | 1095 | 32.30% |
2021 | 2297 | 860 | 28.70% |
三、热点分析
表2 录用论文标题中出现的高频主题词
高频主题 | 翻译 | 出现次数 |
large language model(包括llm) | 大语言模型 | 505 |
language model | 语言模型 | 439 |
diffusion | 扩散 | 274 |
generation | 生成 | 234 |
efficient | 高效 | 210 |
optimization | 优化 | 172 |
image | 图像 | 169 |
transformer | Transformer | 143 |
video | 视频 | 128 |
agent | 智能体 | 127 |
diffusion model | 扩散模型 | 124 |
vision | 视觉 | 122 |
reinforcement learning | 强化学习 | 121 |
robust | 鲁棒 | 119 |
neural network | 神经网络 | 117 |
3d | 3D | 112 |
multimodel | 多模态 | 99 |
visual | 视觉 | 96 |
adaptive | 自适应 | 79 |
图 1 研究热点词云图
表2列出了在本次会议中,被录用的3710篇论文标题中的20个高频主题词。图1展示了基于ICLR 2025研究热点生成的词云图,涵盖大模型、扩散模型、强化学习等研究领域。投稿的论文主题集中在大语言模型(Large Language Model, LLM)及其相关变体(如语言模型/Language Model),在文献中出现频次分别高达505次和439次(见表2),充分印证了大模型在当前学术研究中的核心地位。
大模型凭借其千亿级参数量,结合监督微调(Supervised Fine-Tuning)和提示工程(Prompt Engineering)等技术,展现出卓越的语言理解、文本生成、逻辑推理和任务泛化能力,能够高效适配各类下游应用场景。然而,这类模型仍面临计算资源消耗巨大与高昂的部署成本等关键挑战。通过对本次会议论文的计量分析发现,"优化(Optimization)"、"高效(Efficient)"、"自适应(Adaptive)"和"鲁棒(Robust)"等关键技术指标呈现显著高频特征(表2),因此推测,研究重点正转向模型优化、训练效率提升、自适应学习以及系统鲁棒性等方向。
在生成式模型方面,扩散模型(diffusion model)与Transformer架构共同构成了研究支柱:前者以总计398次的提及频次成为当前最受关注的生成方法,后者虽以143次稍逊但仍保持关键地位。扩散模型凭借其出色的生成质量和稳定的训练特性,在图像合成、视频生成、3D内容创建等多个视觉领域展现出卓越的性能表现。
最后,"智能体(Agent)"、"强化学习(Reinforcement Learning)"与"多模态(Multimodal)"等关键词的持续高热(分别出现127、121、99次),不仅反映了AI智能体研究的蓬勃态势,或许也预示着机器人学与自动驾驶领域或将迎来新一轮的技术突破,特别是在具身智能与复杂环境交互方面的研究进展值得期待。这一研究热点分布格局与当前产业界对可部署、高可靠AI系统的迫切需求高度吻合。
四、ICLR高分论文
表3总结了ICLR 2025的10篇高分论文,研究方向涵盖了大语言模型、扩散模型和计算机视觉等多个领域。并且本次ICLR出现了唯一的一篇满分论文。
表3 ICLR 2025高分论文
题目 | 主题 | 平均分 |
Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport | 研究提出IC-Light方法,通过物理一致的光照传输约束,使扩散模型在保持图像底层细节和固有属性的同时实现高质量光照编辑,支持千万级数据训练并有效减少材质不匹配等伪影。 | 10 |
Safety Alignment Should be Made More Than Just a Few Tokens Deep | 研究发现大型语言模型的安全对齐存在"浅层对齐"漏洞,提出通过深化对齐范围和正则化微调来增强鲁棒性。 | 9.5 |
Simplifying, Stabilizing and Scaling Continuous-time Consistency Models | 研究提出了一种改进的连续时间一致性模型框架,通过理论分析解决了训练不稳定性问题。 | 9.2 |
Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think | 研究提出一种表示对齐方法,显著提升训练效率和生成质量,突破了扩散模型表示学习的瓶颈。 | 9 |
Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models | 研究发现大模型幻觉源于内部实体识别机制,通过稀疏自编码器可检测模型"自我认知"表征,为理解该问题提供了新视角。 | 9 |
BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions | 研究团队推出一项基准测试,测试显示当前模型最高仅达人类60%水平(人类97%)。 | 9 |
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning | 研究发现大语言模型的灾难性遗忘主要源于函数激活偏差而非函数覆盖不足,提出通过函数向量引导的正则化训练方法有效缓解遗忘问题。 | 9 |
Artificial Kuramoto Oscillatory Neurons | 研究提出人工库拉莫托振荡神经元模型,在无监督学习、对抗鲁棒性等任务中展现优越性能。 | 9 |
SAM 2: Segment Anything in Images and Videos | 研究团队推出SAM 2视觉分割基础模型,在视频分割中实现3倍交互效率提升,图像分割速度比前代快6倍。 | 9 |
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment | 研究提出SPA框架,仅需3.3%标注量即在AlpacaEval 2.0上超越全数据训练效果,显著降低大模型对齐成本。 | 8.67 |