【论文精读】 GPT，GPT-2，GPT-3：大力出奇迹

已于 2024-04-29 12:53:37 修改
阅读量1.9k 收藏 20
点赞数 32
分类专栏： 论文精读 AIGC阅读学习 文章标签： gpt 人工智能 深度学习 算法
于 2024-04-04 09:55:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47748259/article/details/137342489
版权
本文详细解读了GPT系列的发展，从Transformer的解码器预训练到BERT的编码器预训练，再到GPT-2和GPT-3的zero-shot和Few-Shot学习方法。文章探讨了模型的训练细节、微调策略和稀疏注意力技术，展示了如何通过大规模预训练提升NLP任务的性能。
摘要由CSDN通过智能技术生成

系列文章目录

【论文精读】Transformer：Attention Is All You Need
【论文精读】BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding

文章目录

论文地址：

一、前言

  • 2017/06 Transformer
  • 2018/06 GPT
    • GPT的核心技术是把Transformer的解码器拿出来，在没有标号的大量的文本数据集上训练一个语言模型来获得一个预训练模型，然后在子任务上进行微调得到每一个任务所需要的分类器。
  • 2018/10 BERT
    • BERT的思想是把Transformer的编码器拿出来，收集了一个更大的数据集用于做预训练。
    • BERT提到了两个模型：BERT-Base和BERT-Large，BERT-Base的模型大小与GPT一致，结果显示Bert的性能要好于GPT。BERT-Large比BERT-Base更大，因此性能也更优。
  • 2019/02 GPT-2
    • 收集了一个更大的数据集，训练了一个比BERT-Large更大的模型，继续GPT的路线，使用Transformer的解码器，发掘语言模型的能力，并且发现非常适合做zero-shot任务，但是模型性能不够惊艳。
  • 2020/05 GPT-3
    • 数据和模型相较于GPT-2大了一百倍，模型性能也得到提升。

GPT系列的模型更复杂，要求更高，很难复现；transformer解决机器翻译，一个序列到另外一个序列；Bert想把计算机视觉成熟的先训练一个预训练的模型然后再做微调出子任务的方法搬到NLP上做好，提升技术的效果。在同样模型大小，比如是一个亿级别模型大小时候，Bert的性能要好于GPT。所以后来的文章更愿意用bert文章，因为更容易找到足够的机器把模型跑起来。

二、GPT

（一）文章概览

GPT：使用通用的预训练来提升语言的理解能力（Improving Language Understanding by Generative Pre-Training）

研究背景： 自然语言理解包括各种不同的任务，例如文本蕴涵、问题回答、语义相似性评估和文档分类。尽管大型未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却很少，这使得经过区分训练的模型难以充分执行。

作者的方案： 在各种没有标号的数据集（文本语料库）上训练一个预训练语言模型，然后在有标号的数据集上针对每个特定任务训练微调模型。

使用未标记文本中单词级信息的困难：

  • 不知道使用哪种类型的优化目标，可能有语言建模、机器翻译和话语连贯性等等，但是没有一个优化目标在不同任务上都比较好；
  • 不知道怎么样把这些学习到的表示传递到下游任务去，因为nlp领域的子任务差异性还是挺大的。

相关工作：

  • NLP 的半监督学习
  • 无监督预训练
  • 辅助训练目标（使用多个训练目标）

（二）模型细节

1、在没有标号的数据集上进行预训练

给定一个无监督的标记语料库 U = { u 1 , . . . , u n } U = \{u_1,..., u_n\} U={u1​,...,un​}（ u i u_i ui​表示每个词， U U U表示没有标号的整个文本，是有顺序的），模型使用标准语言建模目标来最大化以下似然函数：

  • （每次拿k个连续的词预测下一个词出现的概率，模型记作 Θ \Theta Θ）
  • Θ \Theta Θ是参数
  • k k k是超参数，表示窗口大小
    在这里插入图片描述

模型：Transformer的解码器

Transformer的编码器可以看到整个序列的所有元素，解码器只能看到当前元素及之前的元素。

U = ( u − k , . . . , u − 1 ) U = (u_{-k},..., u_{-1}) U=(u−k​,...,u−1​)是token的上下文向量， n n n是层数， W e W_e We​是token的embedding矩阵， W p W_p Wp​是位置embedding矩阵。
在这里插入图片描述

与BERT的区别： BERT 用的不是标准的语言模型，而是一个带掩码的语言模型，在预测一个被 mask 的词时，既能看到前面的，也能看到后面的，所以使用 Transformer encoder。但是使用编码器还是解码器不是GPT与BERT主要的区别，他们的主要区别在于目标函数的选取，预测未来比完形填空更难，GPT 的目标函数更难。

2、怎么做微调

微调任务里的数据集是有标号的：

  • 假设一个标记数据集 C，其中每个实例由一系列输入标记 x 1 , . . . , x m x_1,...,x_m x1​,...,xm​，以及标签 y y y组成。
  • 输入通过我们预先训练的模型，来获得最终 Transformer 块的激活 h l m h^m_l hlm​ ，然后将其输入到带有参数 W y W_y Wy​的线性输出层中以预测 y：

在这里插入图片描述
对应的目标函数为：在这里插入图片描述
将语言建模作为微调的辅助目标有助于(a)改进监督模型的泛化，(b)加速收敛。因此，最终的目标为：
在这里插入图片描述

3、特定于任务的输入转换

将模型用于特定的任务（四个典型任务），其中 start,delim,extract 分别是 开始符，分隔符，抽取符，都是一些特殊的标记

  • Classification（分类）
    • 多分类
    • 根据一段话或者一个文本得到对应的标号
    • 【开始符，文本，抽取符】
  • Entailment（蕴涵）
    • 三分类问题（支持，反对，不支持也不反对）
    • 根据一段话，提出一个假设，判断这句话有没有蕴含假设的内容
    • 【开始符，前提，分隔符，假设，抽取符】
  • Similarity（相似）
    • 二分类问题
    • 判断两段文字是不是相似。相似是对称的（a和b相似，b和a也相似），但是实验的时候会将文本设定先后顺序，因此需要构造两个序列。
    • 【开始符，文本1，分隔符，文本2，抽取符】【开始符，文本2，分隔符，文本1，抽取符】
  • Multiple Choice（多选）
    • 给n个答案，让模型选择认为正确的答案。
    • 做法是，如果有n个答案，就构造n个序列。每个序列都得到一个分数，最后用 softmax 得到正确答案的置信度。

在这里插入图片描述图中的Transformer 就是第一部中训练好的模型，可以看到，做下游任务时都不需要改变模型结构。

（三）实验

训练数据集：BooksCorpus 数据集，包含7000篇没有被发表的书
模型大小：12 层 Transformer decoder，每一层的维度是 768

  • Bert-base 用了 12 层 Transformer encoder，每一层维度也是 768。Bert-base 就是用于与GPT 来对比。
  • Bert-large 用了 24层，每一层维度是 1024，大小是 Bert-base 三倍。可以做这么大是因为它用了更大的数据集（BooksCorpus 800M words + English Wikipedia 2500M words）。

三、GPT-2

（一）文章概览

GPT-2：语言模型是无监督的多任务学习器（Language Models are Unsupervised Multitask Learners）

  • 数据集：WebText，有百万级别的文本。
  • 模型大小：最大的 GPT-2 模型有 1.5B 参数。

研究背景：
主流任务都是在一个任务上收集一个数据集，然后来训练。这是因为，当前模型的泛化性都不是很好。Bert和GPT提出后，主流是在大的数据集上进行预训练，然后对子任务再 fine-tune。这仍然有两个问题：

  • 在子任务上还是需要重新训练模型
  • 需要针对子任务收集数据集
    这导致，模型在扩展到新任务时开销是比较大的。

作者的方案：
GPT-2 还是做语言模型，但是在扩展到下游任务时，会有 zero-shot 的设定，不需要再重新训练模型。因此训练好之后在任何任务上都能用。

zero-shot：在做到下游任务时，不需要下游任务的任何标注的信息，也不需要重新训练模型。

（二）GPT-2与GPT的不同之处

1、训练细节上：GPT-2主推zero-shot，而GPT-1为pre-train+fine-tuning

GPT中，在微调的时候引入了开始符，间隔符等特殊符号，这些是模型在预训练时候没有见到过的（微调的时候会进行学习）。但是GPT-2 做的是 zero-shot，模型在做下游任务时不能进行微调，因此不能引入这些特殊符号，否则模型就会很困惑，输入的形式应该更像自然语言，和之前相似。

这就引入了 prompt（McCann et al 2018年提出），让一些自然语言，来充当一些符号的作用。

  • 比如翻译任务，可以写成一个序列：translate to french, english text, french text。这里又有明显的起始，分隔，又是正常的自然语言
  • 阅读理解任务，可以写成：answer the question, document, question, answer 是同样的道理

这个方法为什么行得通：

  • 模型足够强大，能够理解提示符
  • 在文本里面，这样的话可能也很常见

2、模型结构上：

  • GPT-2去掉了fine-tuning层：不再针对不同任务分别进行微调建模，而是不定义这个模型应该做什么任务，模型会自动识别出来需要做什么任务。GPT-2的核心思想概括为：任何有监督任务都是语言模型的一个子集，当模型的容量非常大且数据量足够丰富时，仅仅靠训练语言模型的学习便可以完成其他有监督学习的任务。

  • 调整transformer：将layer normalization放到每个sub-block之前（即为了降低训练难度将post-norm改成了pre-norm）并在最后一个Self-attention后再增加一个layer normalization。

Post-Norm和Pre-Norm：根据Normalization在结构中的位置划分
一般认为，Post-Norm在残差之后做归一化，对参数正则化的效果更强，进而模型的收敛性也会更好；而Pre-Norm有一部分参数直接加在了后面，没有对这部分参数进行正则化，可以在反向时防止梯度爆炸或者梯度消失，大模型的训练难度大，因而使用Pre-Norm较多。目前比较明确的结论是：同一设置之下，Pre Norm结构往往更容易训练，但最终效果通常不如Post Norm。
在这里插入图片描述

（三）实验

数据： Common Crawl是一个网页抓取项目，抓取网页供大家下载。但是信噪比低，有些网页可能就是垃圾网页。使用了 Reddit（算是一些已经过滤好的网页），最后得到4500万个链接，最终的数据集有800w文本，40GB。

一共设计了四个模型：
在这里插入图片描述
实验效果： 在一些任务上还不错，一些任务上差一些。但是随着模型大小的增加，效果还在变好。在这里插入图片描述

四、GPT-3

GPT-3：语言模型是Few-Shot学习器（Language Models are Few-Shot Learners）

  • GPT：预训练之后在子任务上采取部分样本进行微调
  • GPT-2：子任务上不提供任何相关的样本，直接使用预训练的模型在子任务上进行预测
  • GPT-3：Few-Shot——子任务上提供少量样本

（一）文章概览

稀疏模型：权重可以有很多 0

  • GPT-3的参数量有 175 billion（1750亿），比以往的非稀疏语言模型大十几倍。
  • GPT-3在做子任务时不需要进行任何梯度更新或微调（模型很大如果还梯度更新计算难度会太大）
  • 在所有的 NLP 任务上都取得了很好的成绩，而且能生成一些新闻的文章（人类很难区分是不是机器写的）
    在这里插入图片描述

（二）方法

  • Meta-Learning：训练一个很大的模型，泛化性还不错
  • in-context Learning：在后面的时候即使告诉我一些训练样本，也不更新我的模型参数

1、普通的NLP模型如BERT和GPT-1：微调-预训练方法

对于普通的NLP模型如BERT和GPT-1，模型的使用方法是：

  • 对成熟的NLP模型进行有监督的预训练。
  • 根据特定的下游任务（文本分类、问答等）对当前NLP添加MLP。
  • 根据特性下游任务的数据集对整个模型进行微调。

在这里插入图片描述

2、GPT3的方法： in-context Learning

GPT-3想要做的就是拿掉微调部分，直接解决下游任务。
在这里插入图片描述
类比人类做题过程，会看到题型说明，可能还会有一些有答案的例题，然后需要解出剩下的试题。GPT系列想要做的就是类似的事情。

  • zero-shot零样本学习：不允许演示，并且仅向模型提供自然语言的指令；
  • one-shot 单样本学习：只允许一个演示；
  • few-shot 少样本学习或情境学习（in-context learning）：允许尽可能多的演示填充模型的上下文窗口（典型为10-100）。

在这里插入图片描述

（三）GPT-3模型和架构

  • GPT-2对GPT的变化：GPT2修改了GPT的初始化、预归一化和可逆标记化
  • GPT-3对GPT-2的变化：Sparse Transformer

GPT-3 的模型架构基本延续之前的 GPT 的模型架构，区别是引入了 Sparse Transformer 中的 Sparse Attention（稀疏注意力）。

Sparse Attention 与传统 Self-Attention（称为 Dense Attention） 的区别：

  • Dense Attention：在传统的 Attention 计算中需要考虑输入位置之间的相互作用，即每个 token 之间是两两计算 Attention，所以复杂度是；
  • Sparse Attention：在 Sparse Attention 中通过引入稀疏性来减少计算量，它假设当前 token 只与较近位置的 token 存在显著的相互作用，其它位置的影响可以忽略不计。
    • Sparse Attention 使用 LSH 将输入序列划分为多个桶，并仅在每个桶内计算注意力权重，这样避免了对整个序列进行完全的计算，从而降低计算复杂度。
    • LSH 是一种高效的近似最近邻搜索算法，可以将相似的数据项分配到一个桶中

举例来说，Sparse Attention 除了相对距离不超过 k 以及相对距离为 k，2k，3k，… 的 token，其它所有 token 的注意力都设为 0，如下图所示：
在这里插入图片描述

使用 Sparse Attention 的好处：

  • 减少注意力层的计算复杂度，节约显存和耗时，从而能够处理更长的输入序列；
  • 具有“局部紧密相关和远程稀疏相关”的特性，对于距离较近的上下文关注更多，对于距离较远的上下文关注较少；

最终 GPT-3 在训练过程中得到了8 种不同大小的模型，范围从 1.25 亿个参数到 1750 亿个参数三个数量级，最后一个是我们称为 GPT-3 的模型。
在这里插入图片描述

（四）数据集

作者在Common Crawl 数据集（包含近万亿个单词）上采取了 3 个步骤来提高数据集的平均质量：

  • 根据与一系列高质量参考语料库的相似性下载并过滤 CommonCrawl 的版本；
  • 在文档级别执行模糊重复数据删除（lsh算法），在数据集内部和数据集之间，以防止冗余并保持保留的验证集的完整性，作为过度拟合的准确度量；
  • 在训练组合中添加了已知的高质量参考语料库，以增强 CommonCrawl 并提高其多样性。

最终的数据集如下：
在这里插入图片描述

参考：
GPT，GPT-2，GPT-3 论文精读【论文精读】
【论文阅读】GPT系列论文详解
GPT-1、GPT-2和GPT-3模型详解及其进化之路
LLM：大模型的正则化

丁希希哇
关注
专栏目录
大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
丨汀、的博客
07-18 6376
大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
51-8 GPT，GPT2，GPT3 论文精读
AIgraphX
01-11 1792
GPT系列让大家发现大模型是可以大力出奇迹的。
gpt2_gpt 3，一开始是单词2 2
weixin_26641709的博客
10-12 441
gpt230秒摘要(30-Second Summary) Any innovative AI technology has its share of advantages and threats. GPT-3 is not an exception. 任何创新的AI技术都有其优势和威胁。 GPT-3也不例外。 GPT-3 will not be limited by its size and it...
深入浅出讲解GPT系列大模型（GPT-1、GPT-2、GPT-3）
最新发布
Code1994的博客
09-09 2148
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
GPT系列学习笔记：GPT、GPT2、GPT3
xiyou__的博客
08-19 9538
GPT、GPT2、GPT3的区别和联系。
【论文阅读】GPT系列论文详解
qq_52852138的博客
10-09 8841
【论文阅读】GPT系列论文详解
GPT系列论文
yzy的博客
04-04 1533
GPT系列论文笔记
【论文阅读】Self-Supervised Learning of Graph Neural Networks: A Unified Review
grove976的博客
11-08 2147
论文题目：Self-Supervised Learning of Graph Neural Networks: A Unified Review 论文地址：https://arxiv.org/abs/2102.10757 1 Introduction 可以将SSL的前置任务分为两类：对比模型和预测模型。 两类的主要区别在于对比模型需要data-data对进行训练，而预测模型需要data-label对，其中label时从数据中自行生成的，如图1 对比模型通常利用自监督来学习数据表示或为下游任务执行预训.
GPT/GP2/GPT3
liguandong
06-20 3192
GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1AF411b7xQ?spm_id_from=333.999.0.0&vd_source=4aed82e35f26bb600bc5b46e65e25c22笔记：李沐老师GPT系列讲解 - 知乎今天分享的是李沐大神讲解GPT系列论文的读书笔记。GPT可以简单理解为是transformer的解码器。 GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bi
51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读
AIgraphX
01-13 1385
VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。
GPT系列：Codex【使用GPT-3完成代码自动生成任务】
u013250861的博客
02-04 3579
针对代码补全这样一个特殊问题，作者提出了一个pass@k的一个指标，生成k个结果，只要有一个通过就算通过（k如果比较大，就会对模型的能力过度乐观，当k比较大的时候，虽然模型分数比较高，但是在使用时，会给用户返回一大堆代码，让用户去选，这个也是很难的，所以说需要排算法，但这个分数并没有反映排序）。如果用一个较小的T，最好的几个候选，概率较大，采样的时候总能把最好的几个取出来，如果用一个较大的T，不是最好的几个候选也能被采样出来。采样次数和T之间的关系：不同的T，随着采样次数的增加，pass@k的变化。
GPT系列论文解读：GPT-3
qq_51957239的博客
10-08 2710
在GPT-2论文中，谷歌团队致力于将GPT应用于Zero-shot领域，当然取得了不错的结果，但是这种结果离真正能在市场上应用还差得远，所以在GPT-3这篇论文中，谷歌团队又将目光转回Few-shot领域中来，论文标题“”也写明了GPT-3不再追求极致的零样本，即在一个子任务上完全不给语言模型任何样例，转而将样本数量控制在较小范围。近年来，transformer语言模型的容量大幅增加，从1亿个参数，增加到3亿个参数，增加到15亿个参数，增加到80亿个参数，110亿个参数，最后增加到170亿个参数。
大力出奇迹——GPT系列论文学习（GPT,GPT2,GPT3,InstructGPT）
qq_42714262的博客
04-18 2517
GPT系列论文学习
【李沐论文精读】GPT、GPT-2和GPT-3论文精读
Emily的博客
03-07 6632
zero-shot例子（这就可以看到ChatGPT雏形了）：
GPT系列论文精读-GPT1
热门推荐
JamesX666的博客
05-05 1万+
GPT与BERT、Transformer的关系 Transformer发表在2017年6月，在一年之后GPT出来了，GPT的核心数据把Transformer的解码器拿出来，在大量没有文本的数据集上训练一个语言模型然后获得一个预训练模型，然后再用它在任务上做微调，最终得到每一个任务所要的分类器的。 BERT有小道消息传闻是在GPT出来后两个月，出来了。BERT是把Transformer的编码器拿出来，用来做预训练，结果比GPT好很多。又过了四个月后，GPT...
论文精读--GPT4
m0_73202283的博客
03-29 1273
效果好；从去年8月以来做了很多安全性测试。
GPT 系列论文泛读
wutongxdf的博客
05-06 431
一个给自己看的非常简要的 GPT 系列总结。
GPT系列论文核心
ryan_here的博客
02-12 619
难点二：如何把预训练学到的表征迁移到子任务transfer learned representations to the target task。无label训练 + 有监督学习。
GPT-2大战GPT-3：OpenAI内部的一场终极对决
人工智能学家
03-12 1101
作者：Kevin Vu译者：Sambodhi策划：刘燕由于在训练过程中使用的数据集的多样性，我们可以为来自不同领域的文本获得足够的文本生成。GPT-2 的参数和数据是其前代 GPT 的 1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值