#今日论文推荐# NLP预训练范式大一统，不再纠结下游任务类型，谷歌这个新框架刷新50个SOTA

#今日论文推荐# NLP预训练范式大一统，不再纠结下游任务类型，谷歌这个新框架刷新50个SOTA

本文中，来自谷歌的研究者提出了一种统一各种预训练范式的预训练策略，这种策略不受模型架构以及下游任务类型影响，在 50 项 NLP 任务中实现了 SOTA 结果。当前，NLP 研究人员和从业者有大量的预训练模型可以选择。在回答应该使用什么模型的问题时，答案通常取决于需要完成什么任务。
这个问题并不容易回答，因为涉及许多更细节的问题，例如使用什么样的架构？span corruption 还是语言模型？答案似乎取决于目标下游任务。
来自谷歌的研究者重新思考了这一问题，他们具体回答了为什么预训练 LM 的选择要依赖于下游任务，以及如何预训练在许多任务中普遍适用的模型。
该研究试图让普遍适用的语言模型成为可能，提出了一个统一的语言学习范式，简称 UL2 框架。该框架在一系列非常多样化的任务和环境中均有效。

论文题目：Unifying Language Learning Paradigms
详细解读：https://www.aminer.cn/research_report/62a94eb77cb68b460fd2ef74?download=falsehttps://www.aminer.cn/research_report/62a94eb77cb68b460fd2ef74?download=false
AMiner链接：https://www.aminer.cn/?f=cs