《Improving Language Understanding by Generative Pre-Training》论文笔记

引言

GPT（Generative Pre-Training） 受到 《Semi-Supervised Sequence Learning》与《Universal Language Model Fine-tuning for Text Classification》的启发，采用“预训练 + Fine-tune” 两阶段的方式，在不降低模型效果的基础上，以统一的模型结构处理不同的NLP任务，并有效地降低有监督学习对标注数据的依赖。
 

预训练阶段

GPT 采用 Transformer Decoder 做标准语言模型任务，给定长度为 $N$ 的输入序列 $U=u_1,u_2,......,u_n$ ，最大如下似然：
$$L1=\sum _{i=1}^{N}logP(u_t|u_1,......,u_{t-1};\theta )$$

具体计算过程如下：

Fine-Tune阶段

给定输入序列 $x_1,x_2,...,x_m$ 与对应的标签 $y$，
$$P(y|x_1,x_2,...,x_n)=softmax(h_m^n{w}_c)$$
其中$h_m^n$ 表示 Decoder 最后一层第$m$个元素对应的向量，$w_c$ 是全连接层的学习参数。目标损失为：
$$L_2=\sum _{x,y}logP(y|x_1,x_2,...,x_n)$$

论文中指出，在Fine-Tune时，如果将语言模型作为辅助任务，有助于模型加速收敛、以及提高模型泛化能力，因此目标损失为 $L=L2+\lambda \ast L1$，一般取$\lambda =0.5$。

GPT在下游各种任务的Fine-Tune策略如下图所示：

注意，对于“语义相似度”任务，有两种输入顺序，这种方式在GPT中是有效的，但在BERT是无效的，因为BERT采用的是全注意力。