#今日论文推荐# 谷歌、DeepMind新研究：归纳偏置如何影响模型缩放？

#今日论文推荐# 谷歌、DeepMind新研究：归纳偏置如何影响模型缩放？

谷歌、DeepMind：以 Transformer 为例，浅析归纳偏置对模型缩放的影响。
Transformer 模型的缩放近年来引发了众多学者的研究兴趣。然而，对于模型架构所施加的不同归纳偏置的缩放性质，人们了解得并不多。通常假设，在特定标度（计算、大小等）的改进可以迁移到不同的规模和计算区域。
不过，理解架构和标度律之间的相互作用至关重要，设计在不同标度上表现良好的模型具有重要的研究意义。有几个问题还需要搞清楚：模型体系架构之间的缩放性不同吗？如果是这样，归纳偏置如何影响缩放表现？又如何影响上游（预训练）和下游（迁移）任务？
在最近的一篇论文中，谷歌的研究者试图了解归纳偏置（体系架构）对语言模型标度律的影响。为此，研究者在多个计算区域和范围内（从 1500 万到 400 亿参数）预训练和微调了十种不同的模型架构。总体来说，他们预训练和微调了 100 多种不同体系架构和大小的模型，并提出了在缩放这十种不同体系架构方面的见解和挑战。

他们还注意到，缩放这些模型并不像看起来那么简单，也就是说，缩放的复杂细节与本文中详细研究的体系架构选择交织在一起。例如，Universal Transformers (和 ALBERT) 的一个特性是参数共享。与标准的 Transformer 相比，这种体系架构的选择不仅在性能方面，而且在计算指标如 FLOPs、速度和参数量方面显著 warp 了缩放行为。相反，像 Switch Transformers 这样的模型则截然不同，它的 FLOPs 和参数量之间的关系是不寻常的。
具体来说，本文的主要贡献如下：

• 首次推导出不同归纳偏置和模型架构的标度律。研究者发现这个标度系数在不同的模型中有很大的不同，并指出这是模型开发中的一个重要考虑因素。事实证明，在他们考虑的所有十种体系架构中，普通的 Transformer 拥有最好的缩放性能，即使它在每个计算区域的绝对性能不是最好的。
• 研究者观察到，在一个计算标度区域中运行良好的模型不一定是另一个计算标度区域中的最佳模型。此外，他们发现，某些模型尽管在低计算区域表现良好 ，但是难以进行缩放。这意味着很难通过在某个计算区域进行逐点对比来获得模型缩放性的全貌。
• 研究者发现，当涉及到缩放不同的模型架构时，上游预训练的困惑度可能与下游迁移不太相关。因此，底层架构和归纳偏置对于下游迁移也是至关重要的。
• 研究者强调了在某些架构下进行缩放的困难，并展示了一些模型没有进行缩放（或以消极趋势进行缩放）。他们还发现线性时间注意力模型（比如 Performer）难以进行扩展的趋势。

论文题目：Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?
详细解读：https://www.aminer.cn/research_report/6304d1d97cb68b460f0a24dchttps://www.aminer.cn/research_report/6304d1d97cb68b460f0a24dc
AMiner链接：https://www.aminer.cn/?f=cs