AMiner推荐论文：Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A S

论文链接：
https://www.aminer.cn/pub/6181fdcc5244ab9dcb7a6715?f=cs
近年来，大型预训练的基于Transformer的语言模型(PLMs)，如BERT (Devlin et al.， 2019)和GPT (Radford et al.， 2018)系列模型席卷了自然语言处理(NLP)，在许多任务中实现了最先进的性能。
这些大型PLM推动了NLP的范式转变。以分类任务p(y|x)(将文本输入x分类为标签y)为例:传统统计NLP方法通常设计手工特征来表示x，然后应用机器学习模型(如SVM (Cortes and Vapnik, 1995)、逻辑回归)来学习分类函数。深度学习模型通过深度神经网络(LeCun et al.， 2015)。注意，每个新的NLP任务都需要重新学习潜在特征表示，而且在许多情况下，训练数据的大小限制了潜在特征表示的质量。考虑到语言的细微差别对所有NLP任务来说都是共同的，我们可以假设我们可以从一些通用任务中学习一个通用的潜在特征表示，然后在所有NLP任务中共享它。语言建模需要学习如何在给定前一个单词的情况下预测下一个单词，这是一项具有大量自然出现的文本的通用任务，可以预训练这样一个模型(因此得名预训练语言模型)。事实上，最新的、正在进行的范式转换从引入PLMs开始: 对于大量的NLP任务，研究人员现在来利用现有的PLMs通过对感兴趣的任务进行微调，提示PLMs执行期望的任务，或者将任务重新构造为文本生成问题，并应用PLMs来解决相应的问题。这三种基于PLM的范式的进步不断地建立了新的最先进的性能。
AMiner,让AI帮你理解科学！https://www.aminer.cn