Transformer中的encoder和decoder在训练和推理过程中究竟是如何工作的

已于 2024-07-12 10:37:19 修改
阅读量2.6w 收藏 142
点赞数 71
文章标签： transformer 深度学习 自然语言处理
于 2022-03-09 19:04:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42599237/article/details/123383691
版权
本文详细解析了Transformer在机器翻译任务中的训练和推理过程。在推理时，输入句子经Encoder编码，Decoder逐步生成目标序列，利用mask防止未来信息泄露。训练时，Encoder接收源语言句子，Decoder输入源目标混合序列，并使用mask确保自注意力计算的正确性。通过损失函数优化，使模型输出接近真实标签。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer中的encoder和decoder在训练和推理过程中究竟是如何工作的

苦苦冲浪，找不到答案

之前学习transformer的时候就不是很理解encoder和decoder在训练和推理过程中是如何工作的，四处查询也没有讲的很详细，很多文章和视频都是encoder讲很多，到了decoder就一带而过了，后来在b站看了大佬讲解的transformer源码，终于明白了encoder和decoder是怎么工作的了，怕自己再忘记，现记录一下。

Transformer结构（随便冲浪均可查到）

在这里插入图片描述
Input Embedding和Positional Encoding之类大家都在讲的部分就不多做介绍了，这里着重讲一下transformer在机器翻译的推理和训练时是如何工作的。

Transformer推理过程

以“我爱你”到“I love you”为例，对于transformer来讲，在翻译“我爱你”这句话时，先将其进行embedding和encoding送入encoder（包含n层encoder layers），encoder layer之间完全是串联关系，最终在第n层encoder layer得到k，v。

（评论区有朋友指出了推理过程中的错误解释

最低0.47元/天 解锁文章
Taskey
关注
Transformer模型中，Encoder（编码器）和Decoder（解码器）
ZJQ的博客
11-03 385
假设输入文本为：“Transformer模型在自然语言处理领域取得了显著成果，其核心在于Encoder和Decoder的协同工作。Encoder负责编码输入信息，而Decoder则负责生成输出信息。Encoder处理Encoder将输入文本转换为一系列隐藏向量，这些向量捕捉了文本中的关键信息，如“Transformer模型”、“自然语言处理领域”、“Encoder和Decoder的协同工作”等。Decoder生成摘要Decoder开始生成摘要文本。
T5架构和主流llama3架构有什么区别和优缺点、transformer中encoder 和decoder的不同、交叉注意力[大模型面试]
强化学习曾小健
07-08 2297
T5和LLaMA各有优缺点，适用于不同的应用场景。T5的Encoder-Decoder结构使其在多任务处理和迁移学习上表现出色，但训练复杂度较高。LLaMA的Decoder-only结构简化了模型，提升了生成任务的性能，并通过开源促进了研究和应用，但其训练成本较高且任务适应性较单一。选择使用哪种模型应根据具体的应用需求和资源情况来决定。
Transformer训练过程、推理过程详解
m0_64148253的博客
07-24 6414
Transformer是一种很重要且强大的模型，如今网上介绍Transformer的文章很多，但是大都是只是介绍模型的结构，对于训练过程、推理过程模型的输入和输出都没有进行介绍，使人看的一头雾水，因为本文就Transformer的模型的训练和推理过程进行详细的介绍。
Transformer 模型介绍（四）——编码器 Encoder 和解码器 Decoder
金陵城中夜将沉的博客
02-16 4122
上篇中讲完了自注意力机制 Self-Attention 和多头注意力机制 Multi-Head Attention，这是 Transformer 核心组成部分之一，在此基础上，进一步展开讲一下编码器-解码器结构（Encoder-Decoder Architecture）
一文Transformer原理详解：Transformer模型框架、编码器（Encoder)、解码器（Decoder)
最新发布
m0_56255097的博客
03-14 1508
主要由编码器（Encoder）和解码器（Decoder）两部分组成Encoder将输入转化为固定维度的向量，由多个相同的层组成。每层有两个子层，分别是自注意力层（Self-Attention Layer）和前馈全连接层（Feedforward Layer）。其中，自注意力层通过计算输入的每个元素与其他元素的注意力分数来捕捉元素之间的长程依赖关系；而前馈全连接层将每个元素映射到另一个向量空间以捕捉更高级别的特征。
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
transformer训练与推理
WAWA战士的博客
11-24 3120
以下transformer基于中译英任务数据集原本的目标语言标签dec添加完padding后，如果在dec前面加一个S构成了dec_input，而如果在dec后面加一个E构成了dec_output(输出的标签)
【Transformer系列（1）】encoder（编码器）和decoder（解码器）
热门推荐
路人贾的博客
04-15 4万+
一文带你学会encoder-decoder框架
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 6958
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
Transformer进阶分解之Encoder-Decoder、Self-Attention
qq_53640005的博客
08-08 2982
Transformer进阶分解一、Encoder-Decoder1.1 简介1.2 结构1.3 缺点二、Attention Model2.1 Attention 注意力机制简介（一）Attention2.1.1 Attention 原理2.1.2 Attention 机制的本质思想2.1.3 Attention优缺点（二）Self-attention——attention的改进2.2.1 Self-attention原理 一、Encoder-Decoder 1.1 简介 Encoder-Decoder框架
【万字图解】超级详细Transformer、self-attention教程、encoder、decoder、训练、推理、embedding
AIcar_lrm的博客
05-10 4125
详细介绍了transformer的方方面面的细节，通过详细的图解让大家更直观的理解transformer
transformer的 encoder-decoder结构基于tensorflow实现的中文语音识别项目.zip
03-27
在本项目中，我们探索的是一个基于Transformer架构的Encoder-Decoder结构在TensorFlow中的实现，应用于中文语音识别。Transformer模型是Google在2017年提出的，它在自然语言处理领域取得了突破性的进展，尤其在机器...
Transformer 系列三：Encoder编码器和Decoder解码器
weixin_44174227的博客
08-29 8055
Transformer使用了"Encoder-Decoder" 编码器-解码器的结构，这种结构被广泛应用于处理序列到序列（seq2seq）的学习任务中。这种结构由编码器和解码器两大部分组成，编码（encoding）是一个模式提取的过程，将输入句子的特征提取出来，存储在一个中间隐状态空间（hidden state）；而解码（decoding）则是将encoder提取出来的特征进行重建，解码成为我们期望的输出。如翻译任务：将输入的英语经过编码器编码成中间表示，再使用解码器将这个中间表示解码成中文。
Transformer系列：图文详解Decoder解码器原理
2401_85327249的博客
06-03 2657
在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来进行建模，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。
transformer架构中 encoder decoder self-attention cross-attention的作用
ding_programmer的博客
09-29 2878
在Transformer架构中，Encoder-Decoder架构是一种常见的模式，其中Encoder和Decoder分别负责编码输入序列和解码生成输出序列。Self-Attention（自注意力）和Cross-Attention（交叉注意力）是Transformer中的关键组件，用于实现序列建模和特征提取。
Transformer模型-数据预处理，训练，推理（预测）的简明介绍
Ankie资深技术项目经理
04-11 2394
Transformer模型-数据预处理，训练，推理（预测）的简明介绍。 在继续探讨之前，假定已经对各个模块的功能有了充分的了解，我们从头梳理一遍流程。
Transformer Encoder
Lmoermo的博客
08-29 590
ERNIE 采用了 Transformer Encoder 作为其语义表示的骨架。Transformer 是由论文Attention is All You Need首先提出的机器翻译模型，在效果上比传统的 RNN 机器翻译模型更加优秀。Transformer 的简要结构如图1所示，基于 Encoder-Decoder 框架, 其主要结构由 Attention(注意力) 机制构成： Encoder 由全同的多层堆叠而成，每一层又包含了两个子层：一个Self-Attention层和一个前馈神经网络。Self.
transformer : encoder & decoder
鑫的博客
05-05 303
深度学习transformer，解析encoder和decorder。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值