一文搞懂Transformer解码器（图文详解）

最新推荐文章于 2025-03-25 14:25:37 发布
最新推荐文章于 2025-03-25 14:25:37 发布
阅读量8.1k 收藏 48
点赞数 33
分类专栏： 跟加里学AI 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2402_82802238/article/details/137789371
版权
本文深入解析Transformer解码器，包括解码器输入、掩码多头注意力、TokenPrediction过程，以及如何利用编码器输出预测新Token，以自动生成文本。通过实例演示了Transformer在机器翻译任务中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。

本系列之前的两篇文章：Transformer输入详解和Transformer自注意力机制图文详解，我们已经用图示和代码形式讲解了Transformer架构的编码器部分，接下来，我们开始讲解解码器部分。

01 解码器（Decoder）

到目前为止，通过前面的两篇文章，我们已经完成了编码器部分的所有计算步骤，从对数据集进行编码到通过前馈网络传递矩阵；接下来的步骤，我们将讲解Transformer的编码器，如下是在GPT中Transformer编码器预测Token的演示动图。

图片

我们看一下到目前为止我们已经完成了哪些内容，以及我们还需要完成哪些内容：

图片

我们不会计算整个解码器，因为它的大部分已经在编码器中完成了类似的计算，详细计算解码器只会使文章变得冗长，

最低0.47元/天 解锁文章
【Transformer】小白入门指南
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-07 1474
Transformer是起源于NLP领域，然后在图像、视频、声音等领域都得到了广泛应用的基础架构，是继MLP、CNN、RNN’后的公认的第四大基础模型结构。Transformer技术凭借其卓越的表现和广泛的应用前景，已经成为了机器学习领域的一个关键技术。自从2017年Google提出》一文以来，Transformer架构的出现彻底改变了机器学习和深度学习的格局，尤其是在处理语言模型、生成模型以及多模态学习等领域，Transformer几乎成为了不可或缺的技术基石。
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1122
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 7737
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
transformer--解码器
进击的菜鸟
03-01 1397
解码器的作用：根据编码器的结果以及上一次预测的结果,对下一次可能出现的值进行特征表示。使最后一维的向量中的数字缩放到0-1的概率值域内,并满足他们的和为1。通过对上一步的线性变化得到指定维度的输出,也就是转换维度的作用,测试代码放到最后代码。
这样图解Transformer应该没人看不懂了吧——Transformer工作原理
最新发布
Android23333的博客
03-25 793
本文将深入剖析Transformer的内部工作原理，详细研究其运作细节。 我们将通过实际的矩阵表示和形状，观察数据如何在系统中流动，并理解每个阶段进行的计算。 本文目标不仅是理解Transformer是如何工作的，更要探究它为何如此工作。
Transformer解码器部分实现
weixin_46556352的博客
04-27 835
解码器部分实现
【Transformer】解码器（Decoder）
彬彬侠的博客
02-15 1353
在Transformer架构中，解码器（Decoder）的作用是根据编码器的输出生成最终的预测结果。解码器和编码器一样，使用了自注意力机制，但与编码器不同的是，解码器还需要考虑到当前时刻生成的目标词。在生成时，解码器要根据当前词及之前的生成词来输出下一个词。Transformer的解码器由多个相同的解码器层堆叠而成，每个解码器层由三个主要部分组成：自注意力机制（Self-Attention）编码器-解码器注意力机制（Encoder-Decoder Attention）前馈神经网络（Feed-Forward
深入理解深度学习——Transformer：解码器（Decoder）部分
热门推荐
冯·诺依曼
06-15 1万+
因此，一个解码器（第一个除外）将有两个输入：一个是来自前一个解码器的输出，另一个是编码器输出的特征值。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。这编码器中的多头注意力层的工作原理相似，但有一点不同，具体的原理可以参考《一旦解码器学习了目标句的特征，我们就将顶层解码器的输出送入线性层和Softmax层，如下图所示。
自然语言处理面试基础
GitChat
01-01 1万+
专栏亮点 内容新： 本课程涵盖 RNN，LSTM，GRU，word2vec，CNN 这些基础，还包括多层，双向等拓展，有 Seq2seq 和 Attention，再到最近流行的 Transformer，ELMo，BERT，层层递进掌握经典模型。 实战多： 包括 14 个项目的代码及详细的讲解，从命名实体识别，词性标注，到情感分析，聊天机器人，机器翻译，再到图片文字摘要，动手实现有趣的智能应用。 ...
大模型知识点汇总——模型基础知识
TigerZ*的博客
03-18 1013
本文主要介绍LLM面试中的模型方面的基础知识点，并且每个知识点做成了一级目录的形式，便于查阅，有任何建议和意见实时修改更新。
重温 Transformers 解码器
2401_82469710的博客
03-09 1438
Transformer 架构相对于早期的 RNN 显著提高了自然语言任务的性能，以其独特的注意机制和并行处理能力而闻名，是对理解和生成人类语言的创新飞跃的证明，其准确性和效率前所未有。
解码器 | 基于 Transformers 的编码器-解码器模型
zenRRan的博客
06-16 405
来自：Hugging Face进NLP群—>加入NLP交流群基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Ja...
对Transformer中编解码器结构的深入理解
tortorish的博客
04-08 1174
中，输出的形状是（batch_size, 1, num_hiddens），因为输出的形状是和query的形状相同的。最后在step2的纵向方向上进行传播，得到step2的输出，依次类推，得到整个预测阶段每一个时间步上的词元，将各时间步上的词元进行拼接，便得到了预测出的序列。训练阶段的Transformer是比较简单的，需要注意的是编解码器连接的地方，这里用红线表示，编码器的状态会被依次传递给。然后，该向量与多头注意力机制上一步（step1）中的向量在时间维度上做拼接，拼接后的向量作为注意力机制中的键值对。
自然语言处理（二十三）：Transformer解码器构建
GeniusAng的博客
01-22 806
自然语言处理（二十三）：Transformer解码器构建
Transformer解码器原理解析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-24 1201
Transformer解码器原理 解码器层 import torch import torch.nn as nn class DecoderLayer(nn.Module): def __init__(self,size,self_attn,src_attn,dropout): super().__init__() ...
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9180
Transformer中解码器decoder的详细讲解（图文解释）
编码器-解码器 | 基于 Transformers 的编码器-解码器模型
zenRRan的博客
06-10 636
来自：Hugging Face进NLP群—>加入NLP交流群基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Ja...
深入解析 Transformer 解码器：核心模块和代码实现详解
weixin_52582573的博客
11-06 1504
通过实现和逐步分析 Transformer 解码器模块，我们可以看到它是如何结合编码器输出，在生成目标序列时保持语义和上下文一致的。希望本文能帮助你理解解码器的实现过程。后续内容可以深入研究完整的 Transformer 模型搭建，包括编码器与解码器的组合。
一文搞懂Transformer编码器（图文详解）
03-11
### Transformer编码器工作原理 #### 编码器架构概述 Transformer模型中的编码器由多个相同的层堆叠而成。每一层主要包含两个子层：一个多头自注意力机制（Multi-head Self-Attention Mechanism），以及一个全连接...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值