[nlp] GPT & T5

GPT1

出现在Bert之前，

gpt预训练的一个目标函数有两个，

第一个是基础的下一个词预测任务，选择一个K窗口，将窗口中的K个词的embedding作为条件去预测下一个词。

第二个是一个分类任务，一段话给一个标签，然后去预测这标签。

GPT2

GPT2是open ai为了回应bert，所做的一个反击，他首先是参数量大大增加了，bert large的参数总量也就是3.4亿，但是GPT2直接跳到了15亿，他的模型结构是基本没有变的，只是增加了层数参数，但是在模型架构训练目标函数上和1没有区别，他的卖点是 zero-shot也就是不需要微调，我的任何任务直接能拿来就用，正是因为zero-shot的设定，它没有在输入上加那些特殊符号，而是用一个text做前缀提示后续输入的形式，做法就是跟T5是一样的，可以看我上一篇文章。他的数据集是一个自己爬的超大的数据集。下面是它模型参数第一个设定，可以看出，非常大。

GPT3

3代模型就更大了，但是架构上他基本是就是按照12代做的，模型结构上区别也不大，模型训练和2也没太大区别，就是一个多任务的学习，GPT一共有1750亿个参数，模型大小是bert的上百倍，gpt3可以做zero-shot，也可以做one-shot，也可以做few-shot，顾名思义，一个是不需要微调，一个是用一个句子做微调，另一个是