NeurIPS 2020最佳论文公布：OpenAI、米兰理工大学、UC伯克利获奖

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

NeurIPS 2020最佳论文奖和时间检验奖已经公布！

NeurIPS，神经信息处理系统大会（Conference on Neural Information Processing Systems），是机器学习领域的顶级国际会议，今年举办时间为12月06日-12月12日。NeurIPS2020提交数再次创新高，共计达到9454篇，总接收1900篇，论文接收率是20.09%，但是较去年有所下降。

今日，NeurIPS公布了今年的三篇最佳论文，他们分别是来自米兰理工大学的《No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium》、UC伯克利的《Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nyström Method》和OpenAI的《Language Models are Few-Shot Learners》，即已经具有较大影响力的GPT-3，前两篇发表于Learning Theory track，而最后一篇发表于Language/Audio Applications track。

评选过程

NeurIPS 2020最佳论文奖是由NicolòCesa-Bianchi，Jennifer Dy，Surya Ganguli，Masashi Sugiyama和Laurens van der Maaten组成的委员会评选。在选择获奖论文时，委员会使用了以下评审标准：

1.该论文是否有继续研究的可能？
2.它是否提供新的深入的见解？
3.它的创意是意想不到的吗？
4.它会改变人们未来的思维方式吗？它严谨而优雅，但并未夸大其重要性吗？
5.它是科学的和可复现的吗？是否准确地描述了研究的可能产生的更广泛影响？

为了选出NeurIPS最佳论文奖的获奖者，奖项委员会经过了严格的两阶段选拔过程：

在该过程的第一阶段，两名委员会成员阅读了30份具有最高评分的论文。委员会成员还阅读了相应的论文评论和作者反驳。在此调查的基础上，委员会根据评选标准选择了九篇突出的论文。

在该过程的第二阶段，所有委员会成员都阅读了入围名单上的9篇论文，并根据评选标准对它们进行了排名。接下来，委员会举行线上会议，讨论最高水平的论文并最终确定获奖者。

委员会为选择三篇获奖论文提供了以下评价：

1.《No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium》：相关平衡（CE）易于计算，并且可以获得比众所周知的纳什平衡要高得多的社会福利。在普通形式的游戏中，CE的一个功能是可以通过简单且分散的算法将特定遗憾的概念降到最低，从而找到CE。本文说明了在大型游戏（即扩展型（或树型）游戏）中收敛到CE的后悔最小化算法的存在。该结果解决了博弈论，计算机科学和经济学界的一个长期存在的开放性问题，并且可能对涉及调解员的游戏产生重大影响，例如，通过导航应用程序对有效的交通路线产生影响。

论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397d9e?conf=neurips2020

2.《Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nyström Method》：从大矩阵中选择列向量的一个小但有代表性的子集是一个困难的组合问题，并且已知一种基于基数受限的确定点过程的方法可以提供一种实用的近似解决方案。本文针对最佳可能的低秩近似推导了近似解的近似因子的新上限和下限，该上限甚至可以捕获子集大小的多次下降行为。本文进一步将分析扩展到获得Nyström方法的保证。由于这些逼近技术已在机器学习中得到广泛应用，因此有望对本文产生重大影响，并为例如核方法，特征选择和神经网络的双下降行为提供新的见解。

论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397eab?conf=neurips2020

3.《Language Models are Few-Shot Learners》：语言模型构成了解决自然语言处理中一系列问题的现代技术的骨干。本文表明，当将这样的语言模型扩展到前所未有的参数数量时，该语言模型本身可以用作少样本学习的工具，无需任何额外的训练就可以在许多此类问题上取得非常有竞争力的表现。这是一个非常令人惊讶的结果，有望在实地产生重大影响，并且很可能经受时间的考验。除了工作的科学贡献外，本文还对工作的更广泛影响进行了非常广泛和深思熟虑的阐述，这可以作为NeurIPS社区关于如何考虑产品实际影响的一个示例。

论文链接：https://www.aminer.cn/pub/5ed0e04291e011915d9e43ee?conf=neurips2020

时间检验奖

NeurIPS 2020时间检验奖的获得论文是发表于NeurIPS 2011的《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。本文是第一个展示如何在没有任何锁定机制的情况下并行化普遍使用的随机梯度下降算法，同时又能实现强大性能保证的方法。当时，一些研究人员提出了并行化SGD的方法，但是它们都需要跨不同工作进程的内存锁定和同步。本文针对稀疏问题提出了一种简单的策略，称为Hogwild：让每个工作人员在数据的不同子集上同时运行SGD，并在托管模型参数的共享内存中执行完全异步更新。通过理论和实验，他们证明了Hogwild满足适当稀疏性条件的数据上的处理器数量实现了近乎线性的加速。

在该奖项的评选过程中，委员会确定了大约十年前在NeurIPS上发表的12篇论文的清单（NeurIPS 2009，NeurIPS 2010，NeurIPS 2011）。这是自发表以来，这些NeurIPS会议中被引用次数最多的论文。委员会还通过汇总这些论文在过去两年中在NeurIPS，ICML和ICLR上收到的引用，收集了有关这些论文最近引用次数的数据。然后，委员会要求包含64个SAC的高级计划委员会对其中的三篇论文进行投票，以挑选出一个有影响力的论文。

---

根据主题分类查看更多论文，扫码进入NeurIPS2020会议专题，最前沿的研究方向和最全面的论文数据等你来~
扫码了解更多NeurIPS2020会议信息

添加“小脉”微信，留言“NeurIPS”，即可加入【NeurIPS会议交流群】，与更多论文作者学习交流！