ChatGPT 的结构：Encoder-Decoder

最新推荐文章于 2024-07-06 01:31:56 发布
最新推荐文章于 2024-07-06 01:31:56 发布
阅读量511 收藏
点赞数
分类专栏： 2024年机器学习&深度学习千例 文章标签： chatgpt 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68036862/article/details/131198358
版权
本文详细介绍了ChatGPT的结构，特别是其基于Encoder-Decoder的解码器架构。从贪婪搜索、束搜索、核搜索到温控搜索，逐一解析了模型如何从概率分布中选择输出Token。此外，还强调了GPT模型作为一个纯解码器的工作方式，以及Mask掩码层在处理不同长度输入时的角色。
摘要由CSDN通过智能技术生成

目录

Encoder-Decoder 编码器-解码器架构

GPT 中的编解码架构

解码得到输出 Token

贪婪搜索 Greedy Search

束搜索 Beam Search

核搜索 Nucleus Search

温控搜索 Temperature Search

GPT 是一个解码器

Mask 掩码层

总结

       前面第 5-6 节介绍了 Self-Attention 自注意力机制、Transformer 模型结构。这就相当于我们盖房子准备好了砖头，本节主要介绍如何把 Tranformer 模型组合起来，形成一个完整的 GPT 模型结构，而组合的方式，就用到了Encoder-Decoder 编解码架构模式。在这一节中，我们将对前述章节的内容做一个汇总，让读者对 GPT 模型从全局有一个清晰的认知。

Encoder-Decoder 编码器-解码器架构

在第 1-2 节中，我们大致介绍了语言模型的编解码结构。如下图所示。

实际上，encoder-decoder 这一套模型架构最早是用于解决机器翻译问题的，感兴趣的读者可以读一下这篇经典论文【2014：

了解本专栏 订阅专栏 解锁全文
人工智能_SYBH
关注
专栏目录
订阅专栏
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AI天才研究院
06-24 919
ChatGPT采用了Transformer架构和自回归语言模型。给定一段文本序列,模型通过自注意力机制提取上下文信息,并利用Masked Language Model(MLM)和Next Sentence Prediction(NSP)进行预训练。在应用阶段,模型根据输入的Prompt生成相应的文本响应。本文全面介绍了 ChatGPT 的发展历程、技术原理和应用实践。首先,我们回顾了从 GPT-1 到 GPT-4 的演进过程,阐述了 ChatGPT 的核心概念。
ChatGPT技术原理 第七章：Seq2Seq模型
04-30 2463
Seq2Seq（Sequence-to-Sequence）是一种常见的序列生成模型，常用于自然语言处理领域的翻译、对话生成、摘要生成等任务。Seq2Seq模型的基本思路是将一个序列作为输入，在隐层状态的帮助下生成一个新的序列作为输出。它由两个部分组成：编码器和解码器。编码器将输入序列转换为一个向量表示，解码器根据该向量生成输出序列。Seq2Seq模型的优势在于它可以在输入和输出之间进行柔性映射，因此能够适应不同长度和结构的输入和输出。
图解OpenAI的秘密武器GPT-2：可视化Transformer语言模型
BigDataDigest的博客
08-14 1216
大数据文摘出品来源：github编译：小七、池俊辉、Andy今年，我们见识了许多令人眼花缭乱的机器学习的应用成果。其中OpenAI训练的GPT-2模型就展示出了惊艳的能力，它能够撰写出连贯而富有激情的论文，比当下其他所有的语言模型写的都好。GPT-2其实并不是一种特别新颖的架构，它的架构非常类似于Transformer模型的Decoder结构。然而，GPT2是一个非常大的基于Transformer...
【原创】实现ChatGPT中Transformer模型之Encoder-Decoder
heiyeluren的blog（黑夜路人的开源世界）
07-17 3292
ChatGPT中比较核心的就是T，代表的Transformer模型，本文主要是系统的介绍基本Transformer的代码实现。
中国版ChatGPT高潮即将到来，解密ChatGPT底层网络架构
syscloud123的博客
02-28 1万+
全新聊天机器人ChatGPT，在中国用户无法访问的前提下，上线仅两个月月活用户就突破了1亿。ChatGPT如同重磅炸弹，一时间火遍全球。
ChatGPT 是什么，架构是什么样的，一文了解
全栈行动派的博客
07-23 1091
ChatGPT是什么，架构是怎样的，可以做什么，有什么风险，通过本文了解。
基于chatGPT设计卷积神经网络
Hello World
03-26 8474
本文主要介绍基于chatGPT，设计一个针对骁龙855芯片设计的友好型神经网络。提问->跑通总共花了5min左右，最终得到的网络在Cifar100数据集上与ResNet18的精度对比如下。此外，GPT生成的模型训练速度更快，ResNet18才训练170个epoch，CNN-GPT已经完整地训练完了。具体的模型结构在文末。
ChatGPT：超越GPT-3的人工智能对话新高度
从最初的Decoder到Encoder-Decoder结构，再到BERT、RoBERTa、ELECTRA等预训练模型，每一次迭代都在推动着语言理解的边界向前发展。 值得注意的是，ChatGPT的优化采用了强化学习从人类反馈（Reinforcement Learning ...
ChatGPT语言底层框架-大纲
05-22
Transformer模型由两个主要部分组成：编码器（Encoder）和解码器（Decoder）。 1. Transformer架构： - 编码器负责理解输入序列的信息，通过自注意力机制（Self-Attention）捕获每个词与其他词的相互依赖关系，...
ChatGPT 发展历程、原理、技术架构详解
Python猫
02-16 5783
△点击上方“Python猫”关注 ，回复“1”领取电子书大家好，我是猫哥。最近 ChatGPT 的内容铺天盖地，话题热度全网第一，我们想不注意它都不可能。去年 12 月份的时候，ChatGPT 横空出世，我当时就体验过，感觉十分惊艳。如今它火爆出圈，而且大有要颠覆搜索引擎、引领新的互联网革命的势头，不由得让人想进一步深入了解它。今天分享一篇深度干货，让大家对它有更全面的认知~以下为正文，作者陈巍博...
GPT-3-Encoder:适用于GPT-2 GPT-3的Javascript BPE编码解码器
05-14
适用于GPT-2 / GPT-3的GPT-3-Encoder Javascript BPE编码解码器 关于 GPT-2和GPT-3使用字节对编码将文本转换为一系列整数以输入模型。 这是OpenAI原始python编码器/解码器的javascript实现，可在找到 用npm安装 npm install gpt-3-encoder 用法 兼容Node> = 12 const {encode, decode} = require('gpt-3-encoder') const str = 'This is an example sentence to try encoding out on!' const encoded = encode(str) console.log('Encoded this string looks like: ', encoded) console.log('We
火遍全球的ChatGPT技术简介与主干网络代码
02-12 8478
如果说当下最火的AI技术和话题是什么，恐怕很难绕开ChatGPT。各大厂商都在表示未来要跟进ChatGPT技术，开发在自然语言处理智能系统，可见其影响力。本篇博客追个热度，来简单的介绍下ChatGPT到底是一项什么技术，究竟如何完成复杂的语言处理任务的。
大语言模型原理与工程实践：Decoder 的代表：GPT 系列
最新发布
AI大模型应用之禅
07-06 909
随着人工智能技术的快速发展，对自然语言处理的需求日益增加。尤其在生成文本、回答问题、翻译文本等领域，对模型的能力提出了更高的要求。现有的语言模型，如循环神经网络（RNN）和长短时记忆网络（LSTM），虽然在特定任务上表现出色，但在处理长序列和捕捉全局语义时存在局限。为了解决这些问题，生成式预训练变换器（GPT）系列应运而生，它通过注意力机制有效地处理序列数据，从而实现了在多种自然语言处理任务上的突破。解码器是生成模型中的关键组件，负责根据输入生成新的序列。
GPT模型
热门推荐
发呆的比目鱼的博客
08-06 1万+
GPT模型 Paper:https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 摘要 GPT是OpenAI在论文《Improving Language Understanding by Generative Pre-Training》中提出的生成式预训练语言模型。该模型的核心思想： ...
大致聊聊ChatGPT的底层原理，实现方法
黑马程序员官方博客
05-12 3176
人工神经网络（ Artificial Neural Network, 简写为ANN）也简称为神经网络 (NN), 是一种模仿生物 神经网络结构和功能的计算模型。当电信号通过树突进入到核细胞时，会逐渐聚集电荷。达到一定的电位后，细胞会被激活，通过轴突发出信号。判断一个句子序列是否是正常语句, 即是否是人话对于某个句子序列, 如{W1, W2, W3, …, Wn},语言模型就是计算该序列发生的概率, 即P(W1, W2, …, Wn). 如果给定的词序列符合语用习惯, 则给出高概率, 否则给出低概率。
ChatGPT/InstructGPT详解
数据派THU
02-07 3602
来源：京东云海豚数据科学实验室 本文约7000字，建议阅读15分钟 要搞懂ChatGPT，我们必须要先读懂InstructGPT。前言GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-...
ChatGPT原理简介
Remon的专栏
06-26 230
ChatGPT是一个基于OpenAI GPT模型的聊天机器人，其原理是通过大规模的无监督学习来训练神经网络模型，使其能够以人类方式进行对话交流。
ChatGPT实现原理简析
撸码猿的博客
05-06 1274
如何在保证质量的基础上提高对话的准确性与连贯性是ChatGPT未来提高的重点。4. 由于预训练和微调使用的是无监督学习和自监督学习,ChatGPT生成的响应侧重于流畅和连贯,语言质量较高,但不见得最相关或最合适。1. 使用自监督学习的方法,在海量的对话数据集上对GPT模型进行预训练。ChatGPT的实现就是在GPT的基础上,使用对话数据进行微调,得到一个针对对话的GPT模型。2. 在预训练结束后,使用反向传播算法和目标对话数据,微调模型的参数,提高模型针对目标对话数据的生成能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能_SYBH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值