[nlp] GPT

最新推荐文章于 2024-06-01 12:37:25 发布
最新推荐文章于 2024-06-01 12:37:25 发布
阅读量1.7k 收藏
点赞数
分类专栏： nlp 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/131786612
版权
本文介绍了GPT的联合训练任务，包括Next Token Prediction和Text Classification，详细阐述了GPT2和GPT3的改进，如参数量增加、zero-shot能力，并讨论了模型的微调和应用。
摘要由CSDN通过智能技术生成

一、联合训练任务

1.1 NTP(Next Token Prediction)

gpt预训练的一个目标函数有两个，第一个是基础的下一个词预测任务，选择一个K窗口，将窗口中的K个词的embedding作为条件去预测下一个词。

1.2 TC(Text Classification)

第二个是一个分类任务，一段话给一个标签，然后去预测这标签。

作为预训练微调时的目标函数是这两个函数的加权和。

他在下接下游任务的时候，是将输入放入到transformer的decoder中，跟bert一样，使用预训练的参数，然后将特征加入到后续的一个FFN中，如下图所示：

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
【自然语言处理】GPT 系列讲解
LJR的博客
03-02 2444
GPT GPT-2 GPT-3 Transformer BERT ELMo decoder 预训练 pre-training 微调 fine-tuning 下游任务 文本分类（Text Classification）、文本蕴涵（Textual entailment）、文本相似（Textual similarity）和问答与常识推理（Question Answering and Commonsense Reasoning）ELMo、BERT 和 GPT 的比较 Zero-shot few-shot one-s
自然语言处理中的GPT模型
AI天才研究院
01-18 976
1.背景介绍 自然语言处理（NLP）是人工智能的一个重要分支，旨在让计算机理解、生成和处理人类语言。自然语言处理的一个关键技术是语言模型，它用于预测下一个词或句子中可能出现的词。传统的语言模型通常基于统计学方法，如条件概率、贝叶斯定理等。然而，随着深度学习技术的发展，深度学习模型在自然语言处理领域取得了显著的进展。 在2018年，Open
instructGPT的前两阶段核心训练过程pytorch详细代码展示
weixin_42370153的博客
01-13 3596
介绍关于InstructGPT第1和2阶段中模型到底是如何做训练的，并且以pytorch和transformer的代码做详细的展示
预训练模型：GPT
xunyishuai5020的博客
03-31 2755
GPT 是 OpenAI 在论文《Improving Language Understanding by Generative Pre-Training》中提出的生成式预训练语言模型。该模型的核心思想是通过二段式的训练，以通用语言模型加微调训练的模型完成各项下游NLP任务，包括文本生成、二分类、蕴含、相似度、多分类等。 1. 预训练任务 GPT模型采用标准的语言模型训练方法，即给定上文令模型预测下一单词，模型的目标函数为： Li=∑t∈TlogP(ut∣ut−k,⋯ ,ut−1;θ) L_i = \sum_
GPT系列详解：初代GPT
ShuqiaoS的博客
02-21 2539
初代GPT方法详解
GPT系列初探
hanghanghang的博客
06-19 1031
GPT1其实出现在BERT前，也算是现在大规模预训练模型的开始，奈何效果没有bert好，所有反而没有bert出名，它用的是一个decoder的架构去做的预训练，是一个自回归的模型。gpt预训练的一个目标函数有两个，第一个是基础的下一个词预测任务，选择一个K窗口，将窗口中的K个词的embedding作为条件去预测下一个词第二个是一个分类任务，一段话给一个标签，然后去预测这标签他作为预训练微调时的目标函数是这两个函数的和他在下接下游任务的时候，是将输入放入到transformer的decoder中，跟bert一
GPT、GPT-2、GPT-3论文精读笔记
irony_202的博客
03-26 5382
GPT：使用通用的预训练提升自然语言的理解能力 使用没有标号的文本来预训练模型，最后在子任务上微调模型。 GPT使用的目标函数1是通过前k个词来预测第k+1个词，任务难度要比BERT的完形填空（根据上下文信息来预测中间被mask的词）要难很多，当然如果能够训练起来，能力也要强大很多。由于是通过前k个词来预测，因此GPT使用的是transformer的解码器（只在当前及之前的特征上做自注意力，之后的都被mask）而非编码器（可以看到全局的特征）。 微调： ...
人工智能 NLP GPT论文阅读
01-18
在自然语言处理（NLP）领域，人工智能的发展日新月异，其中GPT（Generative Pre-Training）模型是一个重要的里程碑。GPT最初由OpenAI团队提出，其核心思想在于通过预训练和微调的方式提升语言理解能力。这篇论文...
AI：182-利用Python进行自然语言处理（NLP）（BERT与GPT的应用）
一键难忘的博客
06-01 1853
BERT是由Google开发的预训练语言表示模型，其突出特点是双向编码器结构，能够更好地理解上下文信息。BERT可以应用于各种NLP任务，如文本分类、命名实体识别、问答系统等。GPT是由OpenAI提出的生成式预训练转换模型，其核心思想是使用自回归模型生成文本。GPT模型在文本生成、对话系统等领域有着广泛的应用。在本文中，我们深入探讨了如何利用Python进行自然语言处理（NLP），重点介绍了两个备受关注的预训练模型：BERT和GPT。
基于深度学习的ResNet与自然语言处理的GPT设计源码
最新发布
10-05
该项目为深度学习与自然语言处理领域的综合性源码，包含31个文件，涵盖15个Python源代码文件、5个JSON配置...主要使用Python语言编写，并融合了ResNet和GPT模型，适用于需要深度学习和自然语言处理技术支持的应用场景。
GPT系列模型详解
lppfwl的博客
10-28 1万+
最近看了GPT系列模型，这里特此做一下学习记录和个人思考，先附上三个模型的论文： GPT：https://paperswithcode.com/method/gpt GPT2：https://paperswithcode.com/method/gpt-2 GPT3：https://paperswithcode.com/method/gpt-3 下面逐一进行介绍： GPT 一句话就是：预训练+微调 作者指出：无标签的文本语料很丰富，但是针对特定任务的有标签文本数据很稀少，导致针对特定任务来训练一个准确的模型很
GPT原理介绍
linchuhai的博客
07-25 2万+
1.引言 前面我们介绍了ELMo算法的思想，通过在大量的语料上预训练语言模型，然后再将预训练好的模型迁移到具体的下游NLP任务，从而提高模型的能力。但是ELMo预训练的语言模型结构和下游的NLP任务的模型经常会不一致，因此，做迁移学习时经常没法将两者的模型直接进行融合，因此，本文将介绍OpenAI在2018年提出来的一个方法——GPT，该模型在预训练语言模型的基础上，只需要做一些微改即可直接迁移到...
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
[nlp] scikit-learn 朴素贝叶斯类库概述——GaussianNB，MultinomialNB，BernoulliNB
心宝的博客
03-15 6483
参考：https://www.cnblogs.com/pinard/p/6074222.html 1.scikit-learn 朴素贝叶斯类库概述 scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝...
[nlp] 深度学习技巧（防止过拟合）——Early Stopping 早停法
心宝的博客
03-18 4948
参考：https://www.datalearner.com/blog/1051537860479157#2.2%E3%80%81%E5%81%9C%E6%AD%A2%E6%A0%87%E5%87%86%E9%80%89%E6%8B%A9%E8%A7%84%E5%88%99 一、早停法简介（Early Stopping） 当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能（general...
[nlp] SQuAD 数据集介绍(Q+A+原文)
心宝的博客
05-22 4313
一、SQuAD 1.1 SQuAD 是由 Rajpurkar等人提出的一个 抽取式QA数据集 [闭集]。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章。 对于每个文章的问题(<=5)，有很多标注人员标注答案，且答案出现在原文中。 二、SQuAD 2.0 相较SQuAD 1.1中的10万问答,SQuAD 2.0又新增了5万个人类撰写的问题——而且问题不一定有对应答案。 三、QA架构 SQuAD阅读理解模型总结_catbird233的博客...
[nlp] Word2vec模型 skip-gram和CBOW区别
心宝的博客
11-11 3416
区别 Word2Vec模型中，主要有Skip-Gram和CBOW两种模型。 Skip-Gram是给定input word来预测上下文。 而CBOW是给定上下文，来预测input word。 Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个新的空间中去。 Skip-gram 第一部分为建立模型，第二部分是通过模型获取嵌入词向量。 Wo...
[nlp] BertSum
心宝的博客
02-11 3251
LSTM : 序列模型。 BertSum : self attention 自注意力向量表征句子（q,k,v），实现并行 。(RNN ,LSTM 灰常慢) 双向transformer 基于encoder单元双向预训练模型 基于维基，语言模型训练。 transformer : 以自注意力单元做了很多encoder decoder结构 。 bert分类器： 1. 经典神经网络 2. transfo...
[nlp] 数据预处理：归一化&标准化&PCA降维&ZCA
心宝的博客
02-29 2914
归一化（Normalization） １）数据处理更快 ： 把数据变成(０，１)或者（1,1）之间的小数。 ２）统一量纲（去单位）： 有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 3）公式 （1）最大最小归一化 （Min-Max Normalization）    x’ = (x ...
[nlp] 自动文摘评测 Rouge-1、Rouge-2、Rouge-L、Rouge-S
心宝的博客
03-24 2895
ROUGE或Recall-Oriented Understudy for Gisting Evaluation 是一组指标和软件包，用于评估自然语言处理中的自动摘要和机器翻译软件。指标将自动生成的摘要或翻译与参考或一组参考（人工生成的）摘要或翻译进行比较。 ROUGE-N：系统摘要和参考摘要之间的n-gram[2]重叠。 ROUGE-1 是指系统摘要和参考摘要之间的unigram（每个单词）的重叠。 ROUGE-2 是指系统和参考摘要之间的二元组重叠。 ROUGE-...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值