GPT-2: Language Models are Unsupervised Multitask Learners

GPT 2

• 论文
• 代码
• GPT-2的核心思想是，任何一个有监督NLP任务，都可以看成是语言模型的一个子集，只要预训练语言模型的容量足够大，理论上就能解决任何NLP任务。GPT-2的核心就是提升模型的容量和数据多样性，让语言模型能够达到解决任何任务的程度。

改进之处

• 模型更大，采用48层的transformer的decoder共有15亿个参数；数据集更大，训练数据是一个称为WebText的数据集总共有40GB的文本内容。
• GPT在大数据集上预训练然后再目标任务上微调会存在：需要重新训练模型；需要针对目标任务收集数据集。因此GPT-2在多个任务上进行预训练，然后迁移到下游任务时会设定zero-shot。
• GPT2在子任务上不提供任何的样本，直接使用预训练模型去对子任务做预测。

方法

• GPT中，在微调的时候引入了开始符，间隔符等特殊符号，这些是模型在预训练时候没有见到过的（微调的时候会进行学习）。现在 GPT-2 要做的是 zero-shot，模型在做下游任务时不能进行微调，因此不能引入这些特殊符号，否则模型就会很困惑，输入的形式应该更像自然语言。