GPT和GPT2.0

1 面临的挑战

1. 尚不清楚哪种类型的优化目标在学习对迁移有用的文本表示方面最有效。
2. 将这些学习的表示迁移到目标任务的最有效方法没有达成共识。

2 方法介绍

       针对各种语言理解任务，论文介绍了一种半监督的学习方法，它包含无监督的预训练阶段和监督的微调阶段。这种方法的目标是将预训练阶段学习到的通用表示迁移到具体的任务中。

3 网络结构与微调

4 与Bert比较

1. 在预训练阶段，GPT语言模型是单向的，也就是利用左侧的信息去预测单词。而在Bert中，通过加入mask使得模型变为双向的。
2. 在预训练阶段，GPT没有分隔符，而Bert有
3. 对下游任务GPT和Bert都是fine-turn形式，这与ELMo基于feature-base的不同

5 GPT 2.0

GPT2.0模型结构和GPT1.0大致相同，仍旧是采用单向语言模型预训练，特征提取使用的是Transformer，GPT2.0相对于GPT1.0主要是做了以下三点大的改进：
(1) transformer模型由原来24层叠加的block变成了48层，参数15亿
(2) 更大网络自然需要更多数据，因此数据采用质量更高数量更大的涵盖范围更广的数据WebText
(3) 使用无监督进行下游任务而不是fine-tuning
当然还有一些小的改变如对transformer结构进行了微调，主要还是增大了网络层次