GPT系列模型详解

NLP系列模型解析：
Transformer：https://blog.csdn.net/lppfwl/article/details/121084602
GPT系列：https://blog.csdn.net/lppfwl/article/details/121010275
BERT：https://blog.csdn.net/lppfwl/article/details/121124617

最近看了GPT系列模型，这里特此做一下学习记录和个人思考，先附上三个模型的论文：
GPT：https://paperswithcode.com/method/gpt
GPT2：https://paperswithcode.com/method/gpt-2
GPT3：https://paperswithcode.com/method/gpt-3
下面逐一进行介绍：

GPT

pytorch版本代码：https://github.com/huggingface/pytorch-openai-transformer-lm
一句话就是：预训练+微调
作者指出：无标签的文本语料很丰富，但是针对特定任务的有标签文本数据很稀少，导致针对特定任务来训练一个准确的模型很有挑战。因此作者提出了”预训练+微调“的方法，先大量多样的无标签语料数据上训练一个通用的语言模型，再用特定任务的有标签数据进行微调，也就是迁移学习。GPT模型在12个任务中的9个都实现了SOTA的效果，且个别任务效果提升很明显。

1.模型架构

无监督预训练

预训练阶段作者使用语言模型（LM）的训练方式，模型使用的是transformer的变体，即多层transformer-decoder，这个后面会讲。