北大斩获ICLR 2023杰出论文奖!清华人大、LeCun获提名

来源:新智元

近日,ICLR公布了2023年的获奖名单,共有4篇获最佳论文奖,5篇获荣誉提名。

其中,来自北京大学的张博航、罗胜杰、王立威、贺笛荣获杰出论文奖,来自清华大学的孔祥哲、刘洋,中国人民大学的黄文炳获得提名。

杰出论文奖

以下四篇论文因其出色的清晰度、洞察力、创造力和潜在的持久影响获得杰出论文奖。

1. 题目:Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

作者:Donggyun Kim、Jinwoo Kim、Seongwoong Cho、Chong Luo、Seunghoon Hong

机构:韩国科学技术院、微软亚洲研究院

ec75b1d31698925d3e0f28e95c378a84.png

论文地址:https://openreview.net/forum?id=88nT0j5jAn

本文提出了一种用于密集预测任务的少样本学习流程,例如语义分割、深度估计、边缘检测和关键点检测。本文提出了一个简单的统一模型,可以处理所有这些密集预测任务,并具有几个关键创新。这项工作有可能激发密集预测领域的进一步发展,其中提出的个别观点,如视觉token匹配和情景元学习,可以应用于相关的多任务学习问题。

2. 题目:Rethinking the Expressive Power of GNNs via Graph Biconnectivity

作者:张博航、罗胜杰、王立威、贺笛

机构:北京大学

ea2126a0897f04062dd0fa9b14072af1.png

论文地址:https://openreview.net/forum?id=r9hNv76KoT3

本文研究了作为GNN表达能力度量的双连通性。作者提出了一种利用节点间距离的新算法,并在合成和现实世界数据中进行了验证。委员会认为这项工作具有创新性、趣味性和技术上的可靠性。

3. 题目:DreamFusion: Text-to-3D using 2D Diffusion

作者:Ben Poole、Ajay Jain、Jonathan T. Barron、Ben Mildenhall

机构:谷歌研究院、加利福尼亚大学伯克利分校

b624e4767472c3b898d5cc13da5c46f4.png

论文地址:https://openreview.net/forum?id=FjNys5c7VyY

本文提出了一种在不需要3D模型作为训练数据的情况下,根据文本生成3D模型的方法。本文的关键思想是利用一个为基于文本的图像生成而训练的扩散模型,并通过将通常用于训练扩散模型的误差信号反向传播到3D模型的神经辐射场中来生成3D模型。

4. 题目:Emergence of Maps in the Memories of Blind Navigation Agents

作者:Erik Wijmans、Manolis Savva、Irfan Essa、Stefan Lee、Ari S. Morcos、Dhruv Batra

机构:佐治亚理工学院、Meta AI、西蒙菲莎大学、谷歌研究院、俄勒冈州立大学

80a8067e70b24a610f4a75bcc99727b9.png

论文地址:https://openreview.net/forum?id=lTt4KjHSsyl

本文呈现了一项新颖的、跨学科的研究,该研究基于认知科学和机器学习的见解。本文深入探讨了“blind”导航智能体所学习的表征以及这些学习到的表征是如何实现有效导航的。作者们提出了一项严谨的研究,系统地解开了相关研究问题。

荣誉提名


1. 题目:Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

作者:Zeyuan Allen-Zhu, Yuanzhi Li

机构:Meta AI、穆罕默德·本·扎耶德人工智能大学

4e1d7006bdf43d86b46b37ced426541e.png

论文地址:https://openreview.net/forum?id=Uuf2q9TfXGA

本文的广泛主题是为回合制、多阶段、多人游戏开发算法。论文提出了一种类似于自我对弈的策略,以找出一个好的「均衡」,并在一款在人类玩家中流行的复杂多人棋盘游戏上测试算法。新的想法是将寻找均衡策略与行为克隆相结合:如果算法需要在与人类玩家互动时保持竞争力,那么算法使用人类玩家能识别的策略是有意义的。

2. 题目:Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning

作者:Anton Bakhtin、David J Wu、Adam Lerer、Jonathan Gray、Athul Paul Jacob、Gabriele Farina、Alexander H Miller、Noam Brown

机构:Meta AI、麻省理工学院

7fac7e94409398fa6d9a9a643b988b7e.png

论文地址:https://openreview.net/forum?id=F61FwJTZhb

本文试图通过考虑一种新的理论视角来理解蒸馏。作者的见解是,在自然的多视图结构下,没有蒸馏的神经网络可以被训练成仅依赖部分特征,但是有了蒸馏,这个问题可以得到缓解。为此,作者还提供了可以证明这一点的简化示例。

3. 题目:On the duality between contrastive and non-contrastive self-supervised learning

作者:Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun

机构:Meta AI、古斯塔夫·埃菲尔大学、巴黎高等师范学院、纽约大学

01351fa1d8f13ddf40712d30f6a56630.png

论文地址:https://openreview.net/forum?id=kDEL91Dufpa

自监督学习方法有效性的来源尚未被充分探究,特别是存在着看似毫无共同点但在实践中表现相似的不同方法家族/谱系。本文表明它们实际存在一些不容易发现的共同点。

4. Conditional Antibody Design as 3D Equivariant Graph Translation

作者:孔祥哲、黄文炳、刘洋

机构:清华大学、智源研究院、中国人民大学

7bd5654e4bdf346999ac60ec3ed71b9b.png

论文地址:https://openreview.net/forum?id=LFHFQbjxIiP

本文研究了在给定抗原、抗体的重链和轻链的情况下的抗体设计。作者将问题构建为一个有条件的图生成任务,目标是生成CDRs中的氨基酸以及每个残基氨基酸中4个重原子的3D构象。本文有很多技术贡献,

5. 题目:Disentanglement with Biological Constraints: A Theory of Functional Cell Types

作者:James C. R. Whittington、Will Dorrell、Surya Ganguli、Timothy Behrens

机构:斯坦福大学、牛津大学、伦敦大学学院

c916ea2a6037091b2110ca1cd665312d.png

论文地址:https://openreview.net/forum?id=9Z_GfhZnGH

本文展示了机器学习与神经科学之间有趣的联系。本文引入了生物学启发的约束,非负性和能效,并在数学上证明了这些约束导致线性网络的解缠。本文还从经验上证明,对于非线性情况,同样的约束也是有效的。

评审流程

最初入围的论文有67篇,其中包括由区域主席或高级区域主席提名,以及获得高分的论文。筛选过程有两个阶段。

在第一阶段,每篇论文都被分配给一个主要评审,以确定论文是否应进入第二阶段;此外,委员会成员可以自愿推荐其他不在他们分配范围内的论文进入第二阶段。第一阶段结束后,有大约20篇入围论文。

在第二阶段,每篇论文都被分配给其他次要评审进行排名和与其他候选论文进行比较。第二阶段结束后,每篇剩余的候选论文都至少获得了三个独立评价。然后,根据第一阶段和第二阶段的委员会成员分享的排名和推荐意见,将名单缩减到9篇论文。

为了保证公平公正,论文分配是保密的。而且只有不存在利益冲突的委员会成员才能阅读或推荐论文,无论是基于领域冲突,还是基于个人关系冲突(如朋友或前导师)。

参考资料:

https://blog.iclr.cc/2023/03/21/announcing-the-iclr-2023-outstanding-paper-award-recipients/

推荐阅读

欢迎大家加入DLer-ChatGPT技术交流群!

大家好,群里会第一时间发布ChatGPT前沿技术研究和最新业界动态,主要包括:ChatGPT基础用法,ChatGPT指令大全,ChatGPT各种前沿资讯、开源项目、ChatGPT各类丰富应用信息等等

d1d7d2639771b040be59db7a9a89da96.jpeg

👆 长按识别,邀请您进群!

4d0087850d2e934261565f54c805f617.gif

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值