【文献阅读】GPT

Improving Language Understanding by Generative Pre-Training

---

方法部分：

文章工作： 无监督的预训练+有监督的参数微调

目的：是学习出普适性的表征，可以在只做一点点调整的情况下(不改变模型结构)应用于更大范围的task(包括自然语言推理，转述检测，故事补全)

使用的模型：Transformer

实现的效果：高效的参数微调，适应长语句序列的学习

---

原理部分：

---

实验部分：

预训练数据集：BooksCrops dataset

transformer(decoder部分)：12层，768维状态，12个注意头

feed-forward layer: 3072维内部状态

Adam优化策略：最大学习率2.5e-4（从零线性增长，200次更新后完成）；学习率余弦方式衰减

seq-length:512tokens

权重初始化：N(0,0.02)

编码方式： BPE(40,000 merges and residual)

attention dropout rate : 0.1

L2 正则化：$\omega =0.1$ ; 无偏置或者增益权重

参数微调部分：

dropout for classifier: 0.1

学习率： 6.25e-5

batchsize: 32

参数微调时间： 3 epoches

warmup： 0.2%的训练样本

学习率衰减方式： 线性方式

$\lambda :$ 0.5

---

优化成果：

主要衡量依据是accuracy（测试集是有label的目标任务）

improving 9 out of 12 dataset(state of the art)

各种任务具体数据集的具体提升能力见论文表格。