《智源社区周刊：预训练模型》第2期：Facebook用“预微调”改进预训练性能、再议GPT-3中的东方主义偏见...

超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第2期《智源社区周刊：预训练模型》，从论文推荐、研究动态、热点讨论等几个维度推荐最近一周内发生在预训练模型领域值得关注的信息。

本期贡献者：亓宗帅  常政

 论文推荐

 

我们从NIPS2020、AAAI 2020、CVPR 2020中选取了5篇预训练相关的论文，涉及对现有预训练模型涉及、预训练方法改进、多模态预训练、性能评估、模型鲁棒性等研究方向。

标题：MPNet: Masked and Permuted Pre-training for Language Understanding（预训练模型｜基于掩码和序列的自然语言理解预训练模型，NIPS 2020）

简介：本文提出了一种新的预训练方法MPNet，继承了BERT和XLNet的优点，利用了token之间的依赖关系，并将辅助位置信息作为输入，使预训练模型可以看到完整的句子。

点击这里阅读详细内容

标题：Pre-training via Paraphrasing（预训练模型｜用复述做预训练，NIPS 2020）

简介：本文提出了MARGE，一个新的序列到序列预训练模型，在无监督多语言多文档复述目标下进行学习。MARGE的提出，为主流的掩码语言模型（