#今日论文推荐#微软朱晨光：预训练模型下一步怎么走？突破PLM的「不可能三角」

#今日论文推荐#微软朱晨光：预训练模型下一步怎么走？突破PLM的「不可能三角」

文章虽然不长短短四页，却简明地涵盖了 PLM 过去的一系列工作。
近年来，大规模预训练语言模型（PLM）已经显著提升了各种 NLP 任务的性能。从 BERT 和 GPT-2 开始，自监督预训练 + 监督式微调的范式取得了巨大的成功，刷新了语义相似度、机器阅读理解、常识推理和文本摘要等很多 NLP 领域的 SOTA 结果。此外，中等规模的 PLM 实现了广泛和快速的模型微调和调整。
但是，在很多实际尤其是新颖的 NLP 场景中，受限于预算或者时间，用于有效微调的标注数据极其有限。这种情况刺激了零样本和小样本 NLP 模型的发展。从 GPT-3 开始，当仅给出任务描述以及可能的一些手动示例时，超级大规模 PLM（SL-PLM）在一般 NLP 任务上显示出了更强的性能。这种能力在以往的中等规模 PLM 中没有观察到。然而，SL-PLM 的前所未有的规模在很大程度上也限制了它们的广泛应用。小的科技公司和研究人员很难获得加载这些模型所需要的足够的计算资源，更不用说高效的部署和可能的微调了。
近日，微软认知服务研究小组（Cognitive Services Research，CSR）的两位研究者在其新论文《Impossible Triangle: What’s Next for Pre-trained Language Models?》中对未来的预训练语言模型进行了展望。
论文一作朱晨光（Chenguang Zhu）本科毕业于清华姚班，2016 年博士毕业于斯坦福大学。之后，他进入微软工作，现任 CSR 首席研究经理。

论文题目：Impossible Triangle: What's Next for Pre-trained Language Models?
详细解读：https://www.aminer.cn/research_report/6265fff47cb68b460fa82545?download=falsehttps://www.aminer.cn/research_report/6265fff47cb68b460fa82545?download=false
AMiner链接：https://www.aminer.cn/?f=cs