openai-GPT模型

引言
一个对文本有效的抽象方法可以减轻NLP对有监督学习的依赖。目前大多数深度学习方法依靠大量的人工标注信息，这限制了在很多领域的应用。此外，即使在可获得相当大的监督语料情况下，以无监督学习的方式学到的表示也可以提供显着的性能提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。

结构
OpenAI-GPT提出一种半监督的方式来处理语言理解的任务。使用非监督的预训练和监督方式的微调。模型的目标是学习一个通用的语言表示，可以经过很小的调整就应用在各种任务中。这个模型的设置不需要目标任务和非标注的数据集在同一个领域。模型有两个过程。
使用语言模型学习一个深度模型
随后，使用相应的监督目标将这些参数调整到目标任务

openai-gpt模型是由12层transformer模块组成的，使用最后的隐藏层来做不同的任务。在论文中主要是如下的任务：
文本分类，关系判断，相似性分析，阅读理解。

训练
无监督：
通过前k-1个词预测第k个词，从前往后，不断前进，属于单向的预测。此处记整个无监督训练的任务为L1。

输入的是词向量+位置向量，通过12层的transformer模块，在通过一个全连接+softmax预测第k个词。

有监督：
12层transformer输出的隐藏状态，经过一个全连接+softmax来预测标签y，记有监督的任务为L2。将L1与L2联合训练，如下图所示：
（将语言模型作为微调（fine-tuning）的辅助目标有助于学习NLP任务，所以最后可以加权重组合起来，得到最新的目标函数）

评估

测评数据如上表所示。模型在12个数据集上取得了9个最好的结果，分别如下：