目前chatGPT火的一塌糊涂,但是论文还没正式公开(目前官网是说和 InstructGPT方法一致但数据有区别)。但是也可以看看GPT到GPT-3,以及InstructGPT,之前对gpt了解不多,只知道用的是transformer的decode,在这里详细拜读一下论文。
GPT
模型结构
GPT最主要的结构就是transformer的decoder结构,而实际transformer的decoder没那么简单:
左边是transformer的decoder,分为两部分attention:
1、第一层的attention叫Masked Multi-Head Attention,由于decoder解码是由前面的结果预测下一个token,所以对于被预测token以及后面的token都要进行mask。这里的mask操作上也有很多细节可以聊聊:
2、第二层的attention和transformer的encoder层的attention一样,但是KQV的值不太一样,这里的KQV中的KV都是encoder的输出,而Q是经过第一层attention(上述M