基于语言模型的少样本学习 / 深度学习优化器基准测试 | 本周值得读

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。如果你也希望让自己的科研成果被更多人看到，欢迎在后台回复「论文推荐」。

本期编辑 | 张一帆

选文推荐 | PW内容团队

01.

少样本学习

论文标题：

True Few-Shot Learning with Language Models

论文链接：

https://arxiv.org/abs/2105.11447

代码链接：

https://github.com/ethanjperez/true_few_shot

预训练语言模型 (LM) 在许多任务中表现良好，即使是从少数样本中学习，但之前的工作用许多保留样本微调学习的各方面，如超参数、训练目标和自然语言模板（“提示“）。本文评估了保留样本不可用时，语言模型的少样本能力，并把这种设置称为真少样本学习。测试了两种模型选择标准，交叉验证和最小描述长度，用于在真少样本学习环境中选择语言模型的提示和超参数。

平均来说，这两种方法都略优于随机选择，大大低于基于保留样本的选择。此外，选择标准往往倾向于选择那些表现明显比随机选择更差的模型。即使考虑到在选择过程中对模型真实性能的不确定性，以及改变用于选择的计算量和样本数量，也发现了类似的结果。研究结果表明，考虑到少样本模型选择的难度，之前的工作大大高估了语言模型的真少样本能力。

02.

深度学习优化器

论文标题：

Descending through a Crowded Valley -- Benchmarking Deep Learning Optimizers

论文链接：

https://arxiv.org/abs/2007.01547

代码链接：

https://github.com/SirRob1997/Crowded-Valley---Results

选择优化器被认为是深度学习中最关键的设计决策之一，但这并非易事。现在，越来越多的文献列出了数百种优化方法。在缺乏明确的理论指导和确凿的经验证据的情况下，该决定通常是根据经验做出的。在这项工作中我们的目标是，如果不是最终结论，那么至少要用证据支持的启发式方法来代替这些经验。为此，我们对 15 种特别受欢迎的深度学习优化器进行了广泛的标准化基准测试，同时简要概述了各种可能的选择。

通过分析 50,000 多个单独的实验，本文的贡献主要有三点：1）优化器的性能在各个任务之间差异很大；2）我们观察到，使用默认参数评估多个优化器的效果与调整单个固定优化器的超参数大致相同；3）虽然我们无法辨别出在所有测试任务中都明显占据主导地位的优化方法，但我们发现了一个大大减少的特定优化器和参数选择的子集，只需要在这些子集中搜索也通常会在我们的实验中带来可比的结果。ADAM 具有非常好的性能，新方法无法始终胜过它。我们的开源结果可作为具有挑战性和经过精心调校的基准来使用，可对新型优化方法进行更有意义的评估，而无需进行任何进一步的计算工作。

03.

深度强化学习