论文笔记--Improving Language Understanding by Generative Pre-Training

已于 2023-05-01 11:30:37 修改
阅读量803 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 自然语言处理 chatgpt 语言模型 nlp
于 2023-04-29 11:28:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/130438870
版权
文章介绍了GPT1模型，该模型通过无监督的生成式预训练和有监督的微调提升语言理解能力。在预训练阶段，使用Transformer架构预测序列中的下一个token，然后在标记数据集上进行微调，适用于文本分类、相似度分析等NLP任务。GPT1展示了生成式预训练的有效性，成为后续大语言模型如GPT2、GPT3和ChatGPT的基石。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文笔记GPT1--Improving Language Understanding by Generative Pre-Training

1. 文章简介

  • 标题：Improving Language Understanding by Generative Pre-Training
  • 作者：Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
  • 日期：2018

2. 文章导读

2.1 概括

  文章利用了Transformer架构，通过无监督的生成式(generative)预训练和有监督的微调相结合方式得到了适应多种NLP下游任务的模型。文章在包括文本分类、文本相似度分析、问答和知识推理四个任务的数据集上进行了数值实验。结果表明，生成式预训练在9/12个数据集上取得了State-of-the-art水平。文章提出的GPT训练方式是当前LLM的一种主流训练方式。
  文章整体架构如下
文章架构

2.2 文章重点技术

2.2.1 无监督预训练

  在预训练阶段，文章提出了通过生成式的预训练来学习语言结构，即通过前面的token预测当前的token，结构化表示为 L 1 ( U ) = ∑ i log ⁡ P ( u i ∣ u i − 1 , … , u i − k ; Θ ) L_1(\mathcal{U}) = \sum_i \log P(u_i| u_{i-1}, \dots, u_{i-k}; \Theta) L1​(U)=i∑​logP(ui​∣u

最低0.47元/天 解锁文章
【论文笔记】GPT-1：Improving Language Understanding by Generative Pre-Training
changreal的博客
11-10 2001
Abstract 核心思想： generative pre-training + discriminative fine-tuning 1 Introduction 为了获取更多annotation，利用linguistic info从unlabeled data中学习，这很有价值，减轻了对NLP中监督学习的依赖，毕竟许多domains缺乏annotated resources，并且用无监督学习学...
Improving Language Understandingby Generative Pre-Training
靓仔沾点健忘症，写给时间下游的自己
08-28 1149
在自然语言处理(NLP)中，从原始文本中有效学习的能力对于减轻对监督学习的依赖至关重要。大多数深度学习方法需要大量的人工标记数据，这限制了它们在许多缺乏注释资源的领域的适用性[61]。在这些情况下，可以利用未标记数据中的语言信息的模型为既耗时又昂贵收集更多注释提供了有价值的替代方法。此外，即使在有大量监督的情况下，以无监督的方式学习良好的表示也可以显著提高性能。到目前为止，最令人信服的证据是广泛使用预训练词嵌入[10,39,42]来提高一系列NLP任务的性能[8,11,26,45]。
An Attention Free Transformer论文参考文献
最新发布
hello！
01-28 1125
中文翻译：[13] 科罗曼斯基, K., 利霍舍尔托夫, V., 多汉, D., 宋, X., 盖恩, A., 萨洛斯, T., 霍金斯, P., 戴维斯, J., 莫希乌丁, A., 凯撒, L., 贝兰杰, D., 科尔韦尔, L., & 韦勒, A. (2020). 用表演者重新思考注意力。中文翻译：[1] 瓦斯瓦尼, A., 沙泽尔, N., 帕尔马, N., 乌斯基奥雷特, J., 琼斯, L., 戈麦斯, A. N., 凯撒, Ł., & 波洛苏金, I. (2017). 注意力就是一切。
LLMs之GPT：《Improving Language Understanding by Generative Pre-Training》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-26 1万+
​ Paper：GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 目录 GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 GPT的demo体验 Abstract 1、Introduction 2 Related Work 3 Framework 4 Experiments 5 Analysis 6
【GPT系列-从理论到实践】Improving Language Understanding by Generative Pre-Training
weixin_43965970的博客
04-07 473
为什么要有这片研究成果呢？之前的方法有什么困难，在NLP领域的各个任务上有什么不足？这段文字强调了从原始文本中有效地学习的能力对于减轻自然语言处理（NLP）中对监督学习依赖的重要性。大多数深度学习方法需要大量手动标注的数据，这限制了它们在许多因缺乏标注资源而受限的领域的适用性。在这些情况下，能够利用无标签数据中的语言信息的模型为收集更多标注提供了一种有价值的替代方案，因为收集标注可能既耗时又昂贵。此外，即使在监督较多的情况下，以无监督的方式学习良好的表示也可以显著提高性能。
【大模型】大语言模型：光鲜背后的阴影——事实准确性和推理能力的挑战
沐风—云端行者
07-07 1182
大语言模型作为人工智能领域的一项重大突破，无疑为自然语言处理带来了前所未有的机遇。然而，正视并解决其在事实准确性和推理能力上的局限，是推动这一技术持续进步的关键所在。通过不断的技术创新和优化，我们有理由相信，大语言模型将逐步克服这些挑战，成为更加智能、更加可靠的语言助手，为人类社会带来更大的价值。在这个过程中，我们期待看到一个更加成熟、更加人性化的大语言模型，它不仅能生成优美流畅的文本，还能在事实和逻辑的考验中展现出严谨和智慧，真正成为人类智慧的延伸。
预训练语言模型在网易严选的应用
hellozhxy的博客
09-10 321
导读：随着Bert的发布，预训练 ( pre-train ) 成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。本文将介绍几种常见的语言模型的基本原理和使用方式，以及语言模型在网易严选NLP业务上的实践，包括分类、文本匹配、序列标注、文本生成等。 01 前言 文本的表征经历了漫长的发展历程，从最简单经典的bow词袋模型、以LDA为代表的主题模型、以word2vec为代表的稠密向量模型、到现在以Bert为代表的通用语言模型。词语是文本细粒度的表达，早期的预训
论文解读 GPT：Improving Language Understanding by Generative Pre-Training
qq_51950566的博客
12-30 1495
自然语言理解里很非常多的任务，比如文本蕴涵、问答、语义相似性评估和文档分类。虽然未标注的文本数据非常的丰富，但是标注好的文本数据却非常的有限。因此想使用标注数据去训练分辨模型的话，数据量是不够的（提出问题）。本文给出的解决方法是，先在没有标记的数据上训练预训练的语言模型，然后再针对不同的子任务，在有标签的数据上训练出微调模型（解决方法）。与以前的方法相比，本文在微调过程中构造和任务相关的输入，从而只需要对模型架构做微小的改变（和之前方法的比较）。最终本文的方法在12个任务里面，有9个达到了最好的效果。
NLP：Improving Language Understanding by Generative Pre-Training
04-21
这种方法的核心在于无监督的预训练（generative pre-training）和有监督的微调（fine-tuning）。由于大规模的无标注文本数据丰富，但针对特定任务的标注数据稀缺，因此直接用少量标注数据训练判别式模型往往表现不佳...
GPT|《Improving language understanding by generative pre-training 》论文阅读笔记
Lys6142021的博客
06-16 950
GPT通过在各种未标注文本语料库上对语言模型进行，然后在每个特定任务上进行，可以在使用大量数据集进行训练下，迁移到大多数NLP任务之上。GPT是基于Transformer模型建立起来的，因为相比于LSTM其具有更好的并行存储计算能力，并能记忆更长的上下文相关信息，并采用纯解码器的结构构造。
大型语言模型 (LLM)类型和示例
lvaolan的博客
07-27 1201
大型语言模型（LLM）是一类深度学习模型，旨在处理和理解海量自然语言数据。简单地说，大型语言模型可以定义为人工智能/机器学习模型，它们试图解决与文本生成、摘要、翻译、问答（Q&A）等相关的 NLP 任务，从而实现更有效的人机交流。这就是为什么 LLM 需要处理和理解海量文本数据，并学习句子中单词之间的模式和关系。大型语言模型（LLM）之所以被称为 “大型”，是因为它们在大型文本语料库中预先训练了大量参数（1 亿多个），用于处理/理解和生成自然语言文本，以完成各种 NLP 任务。
计算机视觉的上游任务和下游任务
热门推荐
jiangqixing0728的博客
04-22 2万+
这几天看CV论文和视频，经常被提及什么上游任务下游任务，搜了一些资料总结出来。 -------------------------------------------------------------------------------------------------------------------------------- 计算机视觉四大任务： 分类（解决"what"）、定位（解决"where"）、检测（解决"what"和"where"）、分割（实例分割和语
BERT模型解析
null的专栏
09-01 4780
BERT模型的提出对于NLP预训练的效果有了较大提升，在ELMo模型的基础上使用了Self-Attention作为文本特征的挖掘，同时避免了GPT模型中的单向语言模型，充分利用文本中的上下文特征。
神经机器阅读理解最新综述：方法和趋势
Paper weekly
07-25 1105
作者丨刘姗姗学校丨国防科技大学研究方向丨自然语言处理近年来，基于深度学习方法的机器阅读理解受到了广泛的关注。近日，来自国防科技大学的团队在arXiv上发布了预印版综述文章...
bert预训练模型解读_论文解读:BERT模型及fine-tuning
weixin_39796363的博客
12-24 1225
在上周BERT这篇论文[5]放出来引起了NLP领域很大的反响，很多人认为是改变了游戏规则的工作，该模型采用BERT + fine-tuning的方法，在11项NLP tasks中取得了state-of-the-art的结果，包括NER、问答等领域的任务。本文对该论文进行介绍。1. 现有的Language Model Embedding语言模型来辅助NLP任务已经得到了学术界较为广泛的探讨，通常有两...
一大批中文（BERT等）预训练模型等你认领！
Paper weekly
06-25 1186
作者丨Zhe Zhao机构丨RUC DBIIR & Tencent Research研究方向丨自然语言处理项目简介预训练模型已经成为了 NLP 领域最重要的资源之...
bert cnn知识抽取模型_深度学习在苏宁知识抽取领域的尝试与实践
weixin_39573287的博客
12-19 636
【51CTO.com原创稿件】背景近几年，随着海量数据的累积、计算能力的提升和算法模型的创新，无论是在学术界还是工业界，深度学习在NLP领域已经得到越来越多的关注与应用，并且有很多可喜的落地成果。知识的抽取和挖掘一直是Data Mining、Knowledge Graph等NLP子领域的重要问题，知识抽取的范围包括实体抽取、关系抽取、属性抽取等，本文主要介绍深度学习在苏宁小店商品标题上的应用，...
对话预训练_中文对话理解中基于预训练的意图分类和槽填充联合模型
weixin_39528994的博客
01-17 481
[1] CHEN H, LIU X, YIN D, et al. A survey on dialogue systems[J]. ACM SIGKDD Explorations Newsletter, 2017, 19(2):25-35.[2] MCCALLUM A, FREITAG D, PEREIRA F. Maximum entropy Markov models for informat...
双向长短期记忆网络模型_基于双向长短期记忆网络和标签嵌入的文本分类模型...
weixin_29560137的博客
01-17 921
[1] ZHANG Y H, SHEN D H, WANG G Y, et al. Deconvolutional paragraph representation learning[C] //Advances in Neural Information Processing Systems. California: Springer, 2017: 4169-4179.[2] HOCHREITER...
Improving Language Understanding by Generative Pre-Training
03-08
你好，关于“Improving Language Understanding by Generative Pre-Training”，我可以回答你的问题。这是一种基于生成式预训练的自然语言处理技术，旨在提高语言理解能力和语言生成能力。该技术已经在许多自然语言处理任务中取得了显著的成果，包括文本分类、命名实体识别、情感分析等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值