Improving Language Understanding by Generative Pre-Training阅读笔记

最新推荐文章于 2023-09-27 14:28:01 发布
最新推荐文章于 2023-09-27 14:28:01 发布
阅读量5.2k 收藏 4
点赞数 2
分类专栏： 论文阅读 文章标签： GPT 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leo_95/article/details/89965558
版权
本文是关于《Improving Language Understanding by Generative Pre-Training》的阅读笔记，重点介绍了GPT模型如何通过无监督预训练和有监督的fine-tuning提升语言理解能力。在预训练阶段，GPT利用Transformer的解码器部分作为语言模型；在fine-tuning阶段，结合标注数据进行监督训练。实验显示，GPT在多个NLP任务上取得优秀表现，尤其是在预训练后使用Transformer进行微调时效果显著。
摘要由CSDN通过智能技术生成

文章目录

概述

要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert.
但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就提出一个很相似的模型GPT, 取得非常不错的效果, 只可惜没得到太多关注.

模型的目标是学习一个通用的表示，能够在大量任务上进行应用。这篇论文的亮点主要在于，他们利用了Transformer网络代替了LSTM作为语言模型来更好的捕获长距离语言结构。然后在进行具体任务有监督微调时使用了语言模型作为附属任务训练目标。最后在12个NLP数据集上进行了实验，9个任务获得了SOTA。

Framwork

在这里插入图片描述
模型训练分为两个阶段:

  • 第一阶段在大规模语料上训练语言模型
  • 第二阶段为fine-tuing阶段. 利用标注数据进行监督训练

1. 无监督预训练

语言模型极大似然函数为:
在这里插入图片描述
其中, k表示上下文窗口大小.

GPT利用多层Transformer的解码器部分作为语言模型.
在这里插入图片描述

2.有监督的fine-tuning

做有监督的分类任务来进行fine-tuning
在这里插入图片描述

最低0.47元/天 解锁文章
Leokb24
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Improving Language Understandingby Generative Pre-Training
dawnyi_yang的博客
11-14 8889
1 摘要 目前大多数深度学习方法依靠大量的人工标注信息，这限制了深度学习在很多领域的应用。此外，即使在可获得相当大的监督语料情况下，以无监督学习的方式学到的表示也可以让性能显著的提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。GPT全称Generative Pre-Training，是一种半监督学习方法，它致力于用大量无标注数据让模型学习“常识”，以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练Fine-tune之前，用无标签数据预训练模型Pretrain，并
Improving Language Understanding by Generative Pre-Training
liangdengne_123的博客
05-27 1686
在这篇论文中，作者提出了一种半监督学习方法——Generative Pre-Training（以下简称 GPT），GPT 采用无监督学习的 Pre-training 充分利用大量未标注的文本数据，利用监督学习的 Fine-tuning 来适配具体的具体的 NLP 任务（如。NLP 领域中只有小部分标注过的数据，而有大量的数据是未标注，如何只使用标注数据将会大大影响深度学习的性能，所以为了充分利用大量未标注的原始文本数据，需要利用无监督学习来从文本中提取特征，最经典的例子莫过于词嵌入技术。
LLMs之GPT：《Improving Language Understanding by Generative Pre-Training》翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-26 1万+
​ Paper：GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 目录 GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 GPT的demo体验 Abstract 1、Introduction 2 Related Work 3 Framework 4 Experiments 5 Analysis 6
《读论文系列 GPT》Improving Language Understandingby Generative Pre-Training（使用通用的预训练来提升语言的理解力）
最新发布
m0_61054964的博客
09-27 152
自然语言理解包括各种各样的任务，如文本蕴涵、问题回答、语义相似性评估和文档分类。我们在没有标号的语言模型上进行预训练，在有标号的子任务上训练一个微调模型。与以前的方法相反，我们在微调期间利用任务感知输入转换来实现有效的传输，同时需要对模型体系结构进行最小的更改。我们在自然语言理解的广泛基准上证明了我们的方法的有效性。+结果使用无标号文本遇到的困难：1 不清楚哪种类型的优化目标在学习对迁移有用的文本表示时最有效2 怎么把文本学到的表示传到下游子任务上半监督：学习一种普遍的表征，首先，我们在。
GPT模型：Improving Language Understanding by Generative Pre-Training
世上再无张显宗
12-30 348
https://blog.csdn.net/ACM_hades/article/details/88899307
NLP：Improving Language Understanding by Generative Pre-Training
04-21
这种方法的核心在于无监督的预训练（generative pre-training）和有监督的微调（fine-tuning）。由于大规模的无标注文本数据丰富，但针对特定任务的标注数据稀缺，因此直接用少量标注数据训练判别式模型往往表现不佳...
Improving neural networks by preventing co-adaptation of feature detectors
04-11
Hinton在2012年提出的Improving neural networks by preventing co-adaptation of feature detectors也就是dropout,常用于防止训练过拟合,主要是通过随机选择一部分神经元训练,而直接丢弃其他神经元.
Improving sidewall roughness by combined RIE-Bosch process
02-22
Improving sidewall roughness by combined RIE-Bosch process
Improving the Routing Security in Software-Defined Networks
02-08
In this letter, we model the dynamic instance switching problem based ... The simulation results show that, compared with baseline algorithms, CDIS improves the network compromised ratio by at least 10%.
文献阅读：Improving Language Understanding by Generative Pre-Training
codename_cys的博客
01-29 1080
文献阅读：Improving Language Understanding by Generative Pre-Training
【GPT3】Language Models are Few-Shot Learners
Pain is inevitable but suffering is optional.
04-25 1660
在大规模文本语料上的预训练模型，然后在特定任务上微调后的NLP任务已经取得了长足的进步。然而针对任务无关的的模型结构，这种方法仍然需要在特定任务的成千上万的数据集上微调。对比来看，人类仅从少部分样本或简单的命令上，就可以学习新的语言任务。这里，我们极大程度地扩展语言模型，进而提高在通用任务、小样本上的性能，甚至可以比拟之前经过微调后的sota模型性能。具体地，我们训练了GPT-3的自回归语言模型，由1750亿个参数组成，10倍于之前的非稀疏语言模型。针对所有任务，GPT-3不用梯度更新或微调。...
预训练语言模型论文分类整理
zenRRan的博客
07-21 607
点击下面卡片，关注我呀，每天给你送来AI技术干货！© 作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士生导师｜赵鑫教授研究方向 | 对话系统1. 引言近年来，以 BER...
【预训练语言模型】GPT: Improving Language Understanding by Generative Pre-Training
夏栀的博客
01-05 1691
Improving Language Undersstanding by Generative Pre-Training（GPT）   前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文将讲解现如今预训练模型——GPT，该模式是较早的使用Transformer模型进行预训练的方法，其特点是单向的。   简称 ：GPT ：G enerative P re-T raining 一、动机： （1）在NLP
Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans
Raki_J的博客
03-18 575
Abstract & Introduction & Related Work 研究任务 一种预训练方法，旨在更好地表示和预测文本的span 已有方法和相关工作 面临挑战 创新思路 在BERT的基础上，mask连续的随机span而不是tokens 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征 实验结论 在同样的训练数据下，在QA数据集上达到了sota 为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
小岁月太着急
08-11 7082
原文链接： https://arxiv.org/pdf/1907.10529.pdf 在本文中，作者提出了一个新的分词级别的预训练方法 SpanBERT ，其在现有任务中的表现优于 BERT ，并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进： 提出了更好的 Span Mask 方案，SpanBERT 不再对随机的单个 token 添加掩膜，而是对随...
【GPT系列-从理论到实践】Improving Language Understanding by Generative Pre-Training
weixin_43965970的博客
04-07 354
为什么要有这片研究成果呢？之前的方法有什么困难，在NLP领域的各个任务上有什么不足？这段文字强调了从原始文本中有效地学习的能力对于减轻自然语言处理（NLP）中对监督学习依赖的重要性。大多数深度学习方法需要大量手动标注的数据，这限制了它们在许多因缺乏标注资源而受限的领域的适用性。在这些情况下，能够利用无标签数据中的语言信息的模型为收集更多标注提供了一种有价值的替代方案，因为收集标注可能既耗时又昂贵。此外，即使在监督较多的情况下，以无监督的方式学习良好的表示也可以显著提高性能。
文献阅读笔记—Improving Language Understanding by Generative Pre-Training
manmanxiaowugun的博客
11-06 7663
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！ （一）ELMO：Deep contextualized word representations （二）Universal Language Model Fine-tuning for Text Classification （三）openAI ...
[文献阅读]——Improving Language Understanding by Generative Pre-Training
jokerxsy的博客
04-26 624
目录引言相关工作半监督学习无监督预训练联合训练目标模型无监督的预训练有监督的微调不同任务的输入实验 引言 工作的意义： 由于标注数据的缺少，能够直接从未标注数据中提取语言学信息的模型十分重要 实验表明，在大量的有监督任务中，引入无监督信息能够带来性能的提升（word embedding） 比word-level更高级别的信息不容易被提取: 优化函数得不到统一，训练任务各异 大多都是task-specific，且使用了复杂的学习机制和联合学习目标，所以没有很好的迁移能力 本文的贡献: 提出了一种半监

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值