本文探讨如何通过预训练语言模型改进自然语言理解，特别是使用Transformer解码器作为语言模型，并在多项任务上进行实验，包括自然语言推断、问答系统、语义相似度和文本分类。实验表明，更深的语言模型和更多的预训练迭代能带来更好的效果。
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！
（一）ELMO：Deep contextualized word representations
（二）Universal Language Model Fine-tuning for Text Classification
（三）openAI GPT：Improving Language Understanding by Generative Pre-Training
（四）BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
一、 问题描述
为了方便nlp的迁移学习，人们提出采用无标注数据训练语言模型（language model），并在其后加上一层全连接和softmax组成分类器ÿ
最低0.47元/天 解锁文章
595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
