ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》（2018）

论文总结

以下是我阅读完整篇论文做的个人总结，基本包含了ChatGPT1设计的完整框架思路，可以仅看【论文总结】章节。

在GPT1实现的核心架构中，包含两个阶段。

第一阶段

在第一阶段基于一个包含7000本书籍内容的海量未标注文本数据集进行无监督预训练，该阶段引入了一种Transformer模型的变形，GPT1增加了Transformer模型的中间层，并调整了部分模型结构和参数。

第二阶段

在第二阶段，实验组引入12个更加具体的标注文本数据集（诸如中学学校问答文本、政府工作报告文档、文本隐含情感标注文档）进行参数微调。基于第一阶段的模型输出，实验组基于标注数据再训练一个二阶段的线性学习模型。一、二两个阶段模型相加，就得到了最终的GPT1模型。

第二阶段的辅助目标学习

对于GPT1模型的架构，还有很重要的一步，就是在第二阶段参数微调的过程中，还要引入特定的辅助目标学习，具体实现方式是将输入文本进行特定的转化，例如修改分类文本输入的数学表示格式（加入特定的分隔符用于标注分词含义）、修改相似语义句型的词汇先后顺序，这种辅助目标学习可以显著提升模型的泛化能力。