Improving Language Understanding by Generative Pre-Training

最新推荐文章于 2024-10-05 19:36:33 发布
最新推荐文章于 2024-10-05 19:36:33 发布
阅读量68 收藏
点赞数 1
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45240796/article/details/129975249
版权
文章探讨了GPT如何通过无监督的预训练和有监督的微调来改善深度学习模型在自然语言处理任务中的性能。GPT使用Transformer架构，首先在大量未标注文本上进行语言建模，然后针对特定任务进行微调，降低了对标注数据的依赖，提高了模型的泛化能力。
摘要由CSDN通过智能技术生成

Improving Language Understanding by Generative Pre-Training

大多数深度学习方法需要大量的手动标记数据，这限制了它们在许多缺乏注释资源的领域的适用性

利用未标记数据中的语言信息的模型为收集更多的注释提供了一种有价值的替代方案，在可以进行大量监督的情况下，以无监督的方式学习良好的表示也可以显著提高性能

在这之前最成功的是Word2vec

利用未标记文本中的挑战性？

  1. 目前尚不清楚哪种类型的优化目标在学习对迁移有用的文本表示方面最有效。

  2. 其次，对于将这些学习到的表征转移到目标任务的最有效方法，还没有达成共识

半监督学习

在这里GPT使用了半监督学习，先通过无监督学习的预训练，运用大量未标注数据增强模型的语言能力，再进行有监督的微调，与大规模数据集集成以提高模型在NLP任务中的表现，减少了模型训练对数据标注工作的依赖，使GPT-1仅需要极少微调，就能够强化其NLP任务能力

该方法将无监督预训练和有监督微调相结合

我们对未标记的数据使用语言建模目标来学习神经网络模型的初始参数。随后，我们使用相应的监督目标将这些参数调整为目标任务

模型架构，使用Transformer

第一阶段是在大量文本语料库上学习高容量的语言模型。接下来是微调阶段，我们将模型调整为具有标记数据的判别任务

Unsupervised pre-training

优化目标
在这里插入图片描述
一个自回归的仅依赖于前文的滑动上下文窗口建模语言模型，因此能依赖上文信息
在这里插入图片描述
h0 表示GPT 的输入，Wp 是单词位置的 Embedding，We 是单词的 Embedding。得到输入 h0 之后，需要将 h0 依次传入 GPT 的所有 Transformer Decoder 里，最终得到 ht。最后送到softmax得到 ht 再预测下个单词的概率。

U是将词嵌入向量 We 投影到一个新的空间，使得它可以与位置向量 Wp 相加

Supervised fine-tuning

GPT 经过预训练之后，会针对具体的下游任务对模型进行微调。微调的过程采用的是有监督学习，训练样本包括单词序列 [x1, x2, …, xm] 和 类标 y，Wy 表示预测输出时的参数

微调时需要优化
在这里插入图片描述
GPT 在微调的时候也考虑预训练的损失函数，所以最终需要优化的函数为：
在这里插入图片描述
微调阶段有两个目标函数L2,L3

Task-specific input transformations

具有结构化输入，如有序的句子对，或文档、问题和答案的三元组。由于我们的预训练模型是在连续的文本序列上训练的，因此我们需要进行一些修改才能将其应用于这些任务。将结构化输入转换为经过预训练的模型可以处理的有序序列

这些输入转换使我们能够避免跨任务对体系结构进行大量更改。
在这里插入图片描述
前提p和假设h令牌序列连接起来，中间有一个分隔符令牌（$）

对于相似,相似是对称的，在语言模型中有先后顺序，被比较的两个句子没有固有的顺序。独立处理每个顺序，以产生两个序列表示

将文档上下文和问题与每个可能的答案连接起来，并在两者之间添加一个分隔符令牌，每一个都用我们的模型独立处理，然后通过softmax层

进行归一化，以产生可能答案的输出分布。

Experiments

transformer学到的特征更加稳定，

文章中使用的是多层Transformer的decoder的语言模型。这个多层的结构应用multi-headed self-attention（768维状态和12个attention heads）位置前馈网络，我们使用了3072维内部状态

decode因为有mask所以只会看到当前元素之前的
在这里插入图片描述
在预训练的部分，模型使用BooksCorpus数据

我们在512个tokens上随机取64个连续的序列，并用这些序列的minibatch对模型进行训练，迭代100次。用了GELU作为激活函数，使用了学习的位置嵌入（learned position embeddings）代替了原始工作中提出的正弦版本

监督微调

自然语言推理

评估了五个不同来源的数据集，包括图像字幕（SNLI）、转录的演讲、流行小说和政府报告（MNLI）、维基百科文章（QNLI）、科学考试（SciTail）或新闻文章（RTE）
在这里插入图片描述
问答和常识性推理

RACE数据集
在这里插入图片描述
相似度

使用三个数据集——微软释义语料库（MRPC）[14]（从新闻来源收集）、Quora问题对（QQP）数据集[9]和语义文本相似性基准（STS-B）

分类

转移层数的影响

在这里插入图片描述
不同层数的预训练模型在目标任务上的性能差异，并通过实验观察了传输层数对模型性能的影响，每个transformer层为multinli上的完全传输提供了高达9%的提升，预训练模型中的每个层都包含解决目标任务的有用功能

为什么transformer的预训练模型在语言理解任务中非常有效

假设，即底层的生成模型通过学习执行许多与目标任务相关的任务，来提高其语言建模能力。另外，相比于LSTM，transformer的更结构化的注意力记忆有助于信息的传递。

使用底层的生成模型来执行任务，而不需要进行监督的微调。作者还观察到LSTM在其零触发性能上表现出更高的方差，这表明Transformer架构的归纳偏差（ inductive bias）有助于transfer。这意味着，transformer的结构使其更有可能学习到更泛化的规律，从而提高在不同任务上的表现。

GPT预训练模型如果不经过finetune事实上也是可以呈现出不错的结果的

weixin_45240796
关注
GPT : Improving Language Understanding by Generative Pre-Training
哆啦咪~fo
08-16 7505
参考论文：Improving Language Understanding by Generative Pre-Training 论文链接：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 这篇论文是基于文...
谷歌BERT预训练模型开源第一手解读，NLPers的福利送上
weixin_39522616的博客
11-01 4980
BERT(Bidirectional Encoder Representations from Transformers)，基于自注意力机制的双向编码表示模型(本质仍然是一种语言模型)，是谷歌在今年10月份提出的一个新的预训练语言表示模型，一经提出就刷爆NLP圈，因为此模型横空出世之时便刷新了11项NLP任务的记录，并在一系列的NLP任务中都取得了state-of-the-art的结果。 BERT...
Improving Language Understandingby Generative Pre-Training
dawnyi_yang的博客
11-14 9032
1 摘要 目前大多数深度学习方法依靠大量的人工标注信息，这限制了深度学习在很多领域的应用。此外，即使在可获得相当大的监督语料情况下，以无监督学习的方式学到的表示也可以让性能显著的提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。GPT全称Generative Pre-Training，是一种半监督学习方法，它致力于用大量无标注数据让模型学习“常识”，以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练Fine-tune之前，用无标签数据预训练模型Pretrain，并
LLMs之GPT：《Improving Language Understanding by Generative Pre-Training》翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-26 1万+
​ Paper：GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 目录 GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 GPT的demo体验 Abstract 1、Introduction 2 Related Work 3 Framework 4 Experiments 5 Analysis 6
[ NLP ] 自然语言处理必读论文及预训练模型（2019.10.28更）
CallMeYunzi的博客
06-26 4077
【 Albert 】 ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS 论文链接：https://arxiv.org/pdf/1909.11942.pdf GitHub：https://github.com/brightmart/albert_zh 【 SpanBERT 】 Sp...
NLP：Improving Language Understanding by Generative Pre-Training
04-21
这种方法的核心在于无监督的预训练（generative pre-training）和有监督的微调（fine-tuning）。由于大规模的无标注文本数据丰富，但针对特定任务的标注数据稀缺，因此直接用少量标注数据训练判别式模型往往表现不佳...
文献阅读笔记—Improving Language Understanding by Generative Pre-Training
manmanxiaowugun的博客
11-06 7720
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！ （一）ELMO：Deep contextualized word representations （二）Universal Language Model Fine-tuning for Text Classification （三）openAI ...
GPT模型：Improving Language Understanding by Generative Pre-Training
ACM_hades的博客
03-29 3972
参考链接 https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf https://github.com/openai/finetune-transformer-lm 论文模型概述 论文模型训练过程包括两步： 第一步: 在大预料库训练高容量的语言模型； 第二步: 要特殊任务的有标签的数据集上微调预训练的语言模...
深度学习 -- > NLP -- >Improving Language Understanding by Generative Pre-Training
村头陶员外的博客
05-07 3665
本文要分享总结的是论文Improving Language Understanding by Generative Pre-Training，论文链接openAI-GPT. 论文动机以及创新点 现实世界中，无标签的文本语料库非常巨大，而带有标签的数据则显得十分匮乏，如何有效利用无标签的原始文本，对缓解自然语言处理相关任务对有监督学习方式的依赖显得至关重要。 有效的从无标签文本中利用超单词级...
Improving Language Understanding by Generative Pre-Training阅读笔记
Leokb24的博客
05-08 5485
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果 概述 要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert. 但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...
OpenAI GPT Improving Language Understanding by Generative Pre-Training
DarrenXf的专栏
03-12 2213
paper OpenAI GPT Improving Language Understanding by Generative Pre-Training https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 个人...
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 779
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
深度学习·wandb
2301_80132162的博客
10-01 409
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
深度学习：DCGAN
Landy_Jay的博客
10-01 465
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 983
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 567
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 481
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
不想宅的冷同学
09-29 832
在本篇博文中，我们实现了一个基于LSTM的语言模型，探讨了其在自然语言处理中的重要性。通过对WikiText数据集的训练，我们了解了如何进行数据预处理、模型构建以及训练与评估过程。这一模型为理解语言生成打下了基础，也展示了如何使用PyTorch进行实际应用。随着对LSTM语言模型的深入理解，我们将在下一篇博文中转向更先进的Transformer模型及其在语言建模中的应用，期待与大家一同探讨Transformer如何提升自然语言处理的能力，并掌握束搜索等高效解码技术。希望继续激发大家对这一领域的热情与探索！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值