GPT家族

最新推荐文章于 2024-06-11 21:04:07 发布
最新推荐文章于 2024-06-11 21:04:07 发布
阅读量522 收藏 1
点赞数
分类专栏： transformer 文章标签： transformer 自然语言处理 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuecaisun/article/details/128940312
版权
本文介绍了GPT模型从初代到GPT-3的发展，详细阐述了模型结构，特别是GPT如何利用Transformer的Decoder进行预训练和有监督的微调。GPT-2通过增加层数、词汇量和序列长度来提升性能，而GPT-3则通过巨大的参数量和少量示例（few-shot）实现出色的表现。
摘要由CSDN通过智能技术生成

目前chatGPT火的一塌糊涂，但是论文还没正式公开（目前官网是说和 InstructGPT方法一致但数据有区别）。但是也可以看看GPT到GPT-3，以及InstructGPT，之前对gpt了解不多，只知道用的是transformer的decode，在这里详细拜读一下论文。

GPT

模型结构

GPT最主要的结构就是transformer的decoder结构，而实际transformer的decoder没那么简单：
左边是transformer的decoder，分为两部分attention：
1、第一层的attention叫Masked Multi-Head Attention，由于decoder解码是由前面的结果预测下一个token，所以对于被预测token以及后面的token都要进行mask。这里的mask操作上也有很多细节可以聊聊：
在这里插入图片描述在这里插入图片描述
2、第二层的attention和transformer的encoder层的attention一样，但是KQV的值不太一样，这里的KQV中的KV都是encoder的输出，而Q是经过第一层attention（上述M

最低0.47元/天 解锁文章
xuecaisun
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GPT模型家族发展历程与核心创新点
禅与计算机程序设计艺术
03-24 998
非常感谢您的详细任务描述。作为一位世界级的人工智能专家、程序员、软件架构师、CTO、计算机领域的大师,我很荣幸能够为您撰写这篇技术博客文章。我会以专业、深入、实用的角度全面分析GPT模型家族的发展历程和核心创新点,为读者带来全面而深入的技术洞见。 让我们开始吧! GPT模型家族发展历程与核心创新点
MultiHead-Attention和Masked-Attention的机制和原理
热门推荐
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
冯·诺依曼
06-13 1万+
模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.下面，让我们看看带掩码的多头注意力层是如何工作的。现在，我们可以将Softmax函数应用于前面的矩阵，并将结果与值矩阵。》中，我们为了运行自注意力机制，我们需要创建三个新矩阵，即查询矩阵。个注意力矩阵，将它们串联起来，并将结果乘以新的权重矩阵。
「深度揭秘」GPT模型家族与提示学习基础解析
最新发布
daimakezhan_cn_g的博客
06-11 55
2018年的GPT-1是一个基于decoder的预训练模型的大成功。
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
GPT模型系列
qq_42750193的博客
07-17 1320
GPT模型系列
transformer学习笔记
bingo_csdn_的博客
11-14 1619
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1、
GPT-4：我不是机器人
03-19
GPT-4的标签包括“GPT”和“GPT-4”，表明我们关注的是整个GPT家族的技术发展。GPT-1、GPT-2和GPT-3分别代表了这一系列的早期尝试和进步，每个新版本都带来了更高的参数量和更强的性能。GPT-3已经展示了令人惊叹的...
OpenAI _ GPT-3新模型Davinci，将AI写作提升到新水平！网友惊呼：GPT-4要来了？.pdf
08-12
Davinci模型是GPT-3家族中功能最为强大的，而text-davinci-003则是这一系列的顶峰。这个新模型不仅提高了文本生成的质量，使其更具吸引力和说服力，还能处理更复杂的指令，适应更广泛的用途。比如，在产品营销方面，...
GPT-4系统卡.pdf
04-12
本篇文档将重点分析GPT-4——GPT家族中的最新大型语言模型。 #### 安全挑战 GPT-4作为一款先进的大型语言模型，虽然具备了强大的文本生成能力，但也面临着一系列的安全挑战： 1. **误导性信息生成**：GPT-4可能...
GPT-4压根不会编程？有人让它露馅了
04-06
前几天，图灵奖得主 Yann LeCun 在一场辩论中直接指出，GPT 家族所采用的自回归路线存在天然的缺陷，继续往前走是没有前途的。 与此同时，一些研究者、从业者也表示，GPT-4 可能并没有 OpenAI 所展示的那么强大，...
GPT-4核心技术分析报告（2）——GPT-4的技术分析（收录于GPT-4_ChatGPT技术与产业分析） - 知乎.pdf
05-18
本报告是对GPT-4技术的深入分析，涵盖了GPT家族的发展历史、架构、多模态架构、关键技术等方面。报告首先回顾了GPT家族的发展历程，从GPT-1到ChatGPT，然后引申到GPT-4的多模态架构和核心技术。 GPT家族的发展历程...
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
Danger的博客
03-31 1934
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
【动手学深度学习v2】注意力机制—4 Transformer
weixin_43650171的博客
08-26 937
Transformer
自注意力(Self-Attention)与Multi-Head Attention机制详解
weixin_60737527的博客
10-21 1万+
self-attention，multi-head attention原理详解
Bert 与GPT差异
weixin_45978522的博客
03-21 394
GPT由于在进行预训练时使用的是连续的文本进行下一个词的预测，因此对于非连续的序列信息无法直接进行处理(Entaiment、Similarity、Multiple Choice)。因此，在进行微调时需要对输入信息进行构造，同时添加针对每个任务的线性预测头，针对不同任务具体的构造方式如下图所示。由于Bert在预训练时使用了下一句预测任务作为目标函数，在进行Fine-tuning时输入能够自适应处理非连续的文本任务(例如QA)，在进行微调时只需要重新训练分类头即可。
如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解
Viviane_2022的博客
10-27 1439
编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。当执行 #C 时，它会隐藏第3个输出。
Multi-Head Attention和Transformer Decoder（GPT）详解
专注AI领域
05-22 1084
而在实际的自然语言生成过程中，句子都是逐字生成的，当前字正在生成时，该字后边的句子内容还是未知的，即为空，因此，影响当前字的只有当前位置之前的句子，而不包括当前位置之后还处于未知状态的内容。8. Linear&Softmax：输出层，输出一个固定长度的文字序列，每个文字有不同的准确率（由于存在Softmax，所有的概率相加为1），如果想让模型输出更加多样化，则可以随机选择准确率最大的几个字，反之，则减小选择的范围；注：图中的N，代表重复N次，不同的GPT版本N的大小不同，代表的参数规模也不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值