【论文阅读】GPT系列论文详解

长命百岁️

已于 2022-10-09 22:35:45 修改

阅读量8.4k

点赞数 3

分类专栏：信息检索论文阅读深度学习文章标签：论文阅读深度学习机器学习

于 2022-10-09 17:23:17 首次发布

本文链接：https://blog.csdn.net/qq_52852138/article/details/127230465

版权

论文阅读同时被 3 个专栏收录

31 篇文章 2 订阅

订阅专栏

信息检索

28 篇文章 2 订阅

订阅专栏

深度学习

21 篇文章 2 订阅

订阅专栏

文章目录

GPT
Language Models are Unsupervised Multitask Learners(GPT-2)
Language Models are Few-shot Leaners(GPT-3)
- Abstract

视频资源参考： mli/paper-reading: 深度学习经典、新论文逐段精读 (github.com)

GPT

Introduction

用无监督文本时的一些困难
- 不知道用什么样的目标优化函数（损失函数），没有普适性的目标函数
- 怎样把学到的文本的表示传到下游的子任务中。NLP中子任务差别比较大，没有统一的表示使得表示能够用于所有的子任务上面
本文使用 semi-supervised 方法
使用的架构是 Transformer
- 作者认为 Transformer在迁移学习时比RNN等更好，能够学习到更健壮的特征。是因为其有更结构化的记忆，能更好地处理长文本信息，从而能更好地抽取句子层面和段落层面的语义信息。
- 在做迁移的时候，用的是任务相关的表示

Framework

Unsupervised pre-training

使用标准的语言建模（用前面的词预测下一个词）目标来最大化下面的似然：

在这里插入图片描述

$k$ 是窗口大小
使用的多层的 Transformer decoder。预测第 $i$ 个词的时候，不会看到后面的词

在这里插入图片描述

$U=(u_{-k},\cdots,u_{-1})$ 是 token 的上下文向量， $n$ 是层数， $W_e$ 是 token 的 embedding 矩阵， $W_p$ 是位置 embedding 矩阵

与BERT的区别：BERT 用的不是标准的语言模型，在预测一个被 mask 的词时，既能看到前面的，也能看到后面的，所以使用 Transformer encoder。预测未来比完形填空更难，GPT 的目标函数更难。（更难，但是天花板更高）

Supervised fine-tuning

在数据集中，每个序列都有一个 label $y$ ，我们给出序列，来预测 label

在这里插入图片描述

输入被放到预训练的模型中，来获得最后一个 transformer block的输出 $h_l^m$ ，然后被送到一个额外的线性输出层（带有参数 $W_y$ ）来预测 $y$

所以就是最大化下面的目标：

在这里插入图片描述

$C$ 是数据集

我们发现，将语言建模作为微调的辅助目标有助于(a)改进监督模型的泛化，(b)加速收敛。因此，最终的目标为：

在这里插入图片描述

$\lambda$ 是超参

在 fine-tuning 阶段唯一的额外参数是 $W_y$ 和对分隔符 token 的 embedding

Task-specific input transformations

在这里插入图片描述

这里说的是如何将模型用于特定的任务（四个典型任务），其中 start,delim,extract 分别是 开始符，分隔符，抽取符，都是一些特殊的标记

Classification（分类）：多分类
Entailment（蕴涵）：三分类问题，前提蕴涵/不蕴涵/不确定假设
Similarity（相似）：二分类问题，判断两段文字是不是相似。因此相似是对称的（a和b相似，b和a也相似），但是我们实验的时候会将文本设定先后顺序。所以我们先将a放前面，再将b放前面构造两个序列
Multiple Choice（多选）：给n个答案，让模型选择认为正确的答案。做法是，如果有n个答案，就构造n个序列。每个序列都得到一个分数，最后用 softmax 得到正确答案的置信度。

这里的 Transformer 就是我们训练好的模型，可以看到，做下游任务时都不需要改变模型结构。

Experiment

是在 BooksCorpus 数据集上训练出来的，里面有7000没有被发表的书

模型大小：用了 12 层 Transformer decoder，每一层的维度是 768。

Bert-base 用了 12 层 Transformer encoder，每一层维度也是 768。Bert-base 就是跟 GPT 来对比。
Bert-large 用了 24层，每一层维度是 1024，大小是 Bert-base 三倍。可以做这么大是因为它用了更大的数据集（BooksCorpus 800M words + English Wikipedia 2500M words）。

Language Models are Unsupervised Multitask Learners(GPT-2)

Abs

用了 WebText，有百万级别的文本，最大的 GPT-2 模型有 1.5B 参数。

本文的主要卖点是 zero-shot。

Introduction

主流任务都是在一个任务上收集一个数据集，然后来训练。这是因为，当前模型的泛化性都不是很好。Bert和GPT提出后，主流是在大的数据集上进行预训练，然后对子任务再 fine-tune。这仍然有两个问题

在子任务上还是需要重新训练模型
需要针对子任务收集数据集

这导致，模型在扩展到新任务时开销是比较大的。

GPT-2 还是做语言模型，但是在扩展到下游任务时，会有 zero-shot 的设定，不需要再重新训练模型

Approach

GPT中，在微调的时候引入了开始符，间隔符等特殊符号，这些是模型在预训练时候没有见到过的（微调的时候会进行学习）。现在 GPT-2 要做的是 zero-shot，模型在做下游任务时不能进行微调，因此不能引入这些特殊符号，否则模型就会很困惑，输入的形式应该更像自然语言，和之前相似。

这就引入了 prompt（McCann et al 2018年提出），让一些自然语言，来充当一些符号的作用。

比如翻译任务，可以写成一个序列：translate to french, english text, french text。这里又有明显的起始，分隔，又是正常的自然语言
阅读理解任务，可以写成：answer the question, document, question, answer 是同样的道理

为什么可以工作（可能）：