【MindSpore易点通】Transformer的编码和解码

最新推荐文章于 2025-03-14 10:57:44 发布
最新推荐文章于 2025-03-14 10:57:44 发布
阅读量2.1k 收藏 9
点赞数 3
文章标签： transformer 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xi_xiyu/article/details/126777834
版权

简介

在上一篇【MindSpore易点通】Transformer的注意力机制帖子中，跟大家分享了注意力机制的结构和原理。基于上篇内容，本次再和大家一起解锁下Transformer中的Encoder和Decoder以及Softmax部分。

Encoder结构

图中红框内就是Transformer的Encoder block结构，从下到上是由Multi-Head Attention-->Add & Norm-->Feed Forward-->Add & Norm组成的。因为Multi-Head Attention部分比较复杂，所以单独有分享：【MindSpore易点通】Transformer的注意力机制，了解了Multi-Head Attention的结构和计算过程，现在重点解析下Add & Norm和Feed Forward部分。

Add & Norm：Add & Norm层由有两个输入的路径，一个是经过了Multi-Head Attention处理，一个是直接输入。并且Add和Norm两

最低0.47元/天 解锁文章
xiao | yang
关注
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 7062
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
一文搞懂Transformer解码器（图文详解）
2402_82802238的博客
04-15 8149
本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。
1.Transformer之序列到序列任务中的编码-解码
DAICONG’s Blog
05-24 697
文章目录1.简介1.4通过rnn的编码解码机制引出attention机制2.序列到序列的注意力机制（seq2seq with attention）2.1 seq2seq with attention网络架构2.2 seq2seq with Attention编码器Encoder原理2.3 seq2seq with Attention编码器Decoder原理2.4 seq2seq with Attention原理实现 1.简介 seq2seq 就是一个任务，实现的是从序列到序列的映射，比如将我爱你翻译成i
一文Transformer原理详解：Transformer模型框架、编码器（Encoder)、解码器（Decoder)
最新发布
m0_56255097的博客
03-14 1974
主要由编码器（Encoder）和解码器（Decoder）两部分组成Encoder将输入转化为固定维度的向量，由多个相同的层组成。每层有两个子层，分别是自注意力层（Self-Attention Layer）和前馈全连接层（Feedforward Layer）。其中，自注意力层通过计算输入的每个元素与其他元素的注意力分数来捕捉元素之间的长程依赖关系；而前馈全连接层将每个元素映射到另一个向量空间以捕捉更高级别的特征。
Transformer 模型介绍（四）——编码器 Encoder 和解码器 Decoder
金陵城中夜将沉的博客
02-16 4697
上篇中讲完了自注意力机制 Self-Attention 和多头注意力机制 Multi-Head Attention，这是 Transformer 核心组成部分之一，在此基础上，进一步展开讲一下编码器-解码器结构（Encoder-Decoder Architecture）
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 7696
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
【MindSpore易点通】Transformer的注意力机制
xi_xiyu的博客
09-09 2079
通过本文自注意力机制self-attention的过程解析，首先通过输入词的query和key相乘计算出一个关系权重，再用这个关系权重对value进行加权求和，以提升一个序列中相关向量的权重，降低不相关元素的权重。在计算完自注意力分数后，我们看到后面还有一个softmax计算，考虑到softmax的图形，在值越大的地方梯度会越小，所以如果上一步计算出的分数值越大，那样就会出现梯度小时的情况，此时就需要进行分数值的调整。常用的计算方法是用分数值除以dk的开方，这里的dk表示向量k的维度。
深度学习理论基础（七）Transformer编码器和解码器
qq_1033275663的博客
04-07 3221
但是Transformer 的是完全基于self-Attention地，而self-attention是不能获取词语位置信息的，就算打乱一句话中词语的位置，每个词还是能与其他词之间计算attention值，就相当于是一个功能强大的词袋模型，对结果没有任何影响。它允许模型在输入序列中学习词与词之间的依赖关系，通过计算每个词对其他词的注意力权重来实现。编码器的作用是将输入序列转换为语义表示，学习输入序列中词与词之间的依赖关系，并提取输入序列的特征表示，为解码器生成目标序列提供有用的信息。
Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）
njhniubi的博客
07-28 2854
编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前，我们先引入三个概念--掩码张量，注意力机制，多头注意力机制。
Transformer解码器部分实现
weixin_46556352的博客
04-27 832
解码器部分实现
transformer bert seq2seq 深度学习 编码和解码的逻辑-重点
kyle1314608的博客
01-14 920
【深度学习】从seq2seq到Transformer学习记录小透明苞谷关注22019.06.23 15:03:40字数 3,520阅读 603背景 Encoder-Decoder是个非常通用的计算框架，至于Encoder和Decoder具体使用什么模型都是由研究者自己定的，常见的比如 CNN / RNN / BiRNN / GRU / LSTM / Deep LSTM 等，这里的变化组合非常多。 ...
transformer理解
qq_22613769的博客
08-31 7240
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
深入解析 Transformer 模型：编码器和解码器的完整实现
weixin_52582573的博客
11-06 1920
我们完成了 Transformer 模型中编码器和解码器的构建，并将它们组合成完整的模型。编码器负责将输入序列转化为高维特征，解码器在生成每个目标词时参考编码器输出，从而生成语义一致的输出序列。了解 Transformer 的内部结构有助于我们进一步优化模型，适用于各种 NLP 任务，如机器翻译和文本生成等。希望本文能帮助你理解 Transformer 编码器和解码器的核心设计和实现流程。
大模型Transformer架构之编码器(Encoder)和解码器(Decoder)
Androiddddd的博客
12-30 1929
Transformer编码器的作用是特征提取，而解码器的作用是特征重建像很多人一样，一直在奇怪Transformer架构经过多层编码和解码之后就能处理输入数据并生成新的数据；所以，今天我们就来深入了解一下Transformer的编码器。
transformer编码器-解码器结构分析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-24 2105
编码器-解码器结构的代码实现 class EncoderDecoder(nn.Module): def __init__(self,encoder, decoder, source_embed, target_embed, generator) super().__init__() self.encoder=enco...
【Transformer】解码器（Decoder）
彬彬侠的博客
02-15 1344
在Transformer架构中，解码器（Decoder）的作用是根据编码器的输出生成最终的预测结果。解码器和编码器一样，使用了自注意力机制，但与编码器不同的是，解码器还需要考虑到当前时刻生成的目标词。在生成时，解码器要根据当前词及之前的生成词来输出下一个词。Transformer的解码器由多个相同的解码器层堆叠而成，每个解码器层由三个主要部分组成：自注意力机制（Self-Attention）编码器-解码器注意力机制（Encoder-Decoder Attention）前馈神经网络（Feed-Forward
Transformer
qq_60609496的博客
08-01 1777
transformer
背景 | 基于 Transformers 的编码器-解码器模型
Hugging Face
05-31 560
!pipinstalltransformers==4.2.1 !pipinstallsentencepiece==0.1.95Vaswani 等人在其名作 Attention is all you need 中首创了 基于 transformer 的编码器-解码器模型，如今已成为自然语言处理 (natural language processing，NLP) 领域编码器-解码器架构的 事实...
mindspore中transformer模型
08-26
在MindSpore中，Transformer模型是基于自注意力机制的深度学习模型，在NLP领域被广泛应用。MindSpore提供了相关的API和方法来构建和训练Transformer模型。 首先，在MindSpore中，可以使用`EmbeddingLookup`类来定义词嵌入层，该层负责将输入的单词转换为向量表示。这个类在`transformer_model.py`文件中进行定义。 接下来，为了进行网络的反向传播和训练，可以使用MindSpore的高级接口`MindSpore.Model`来定义网络反向和进行训练。在`transformer_model.py`文件中，可以看到网络的反向定义以及使用`MindSpore.Model`进行训练的示例代码。首先，通过`TransformerTrainOneStepCell`将网络和损失函数组合在一起，然后使用该组合后的网络进行训练。 最后，通过调用`model.train`方法，可以使用定义好的模型、数据集和优化器进行训练。需要指定训练的轮数、数据集、回调函数等参数来完成训练过程。 综上所述，在MindSpore中，可以使用相关的API和方法来构建和训练Transformer模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【MindSpore易点通】Transformer的注意力机制](https://blog.csdn.net/Kenji_Shinji/article/details/127958722)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [基于MindSpore的Transformer网络实现](https://blog.csdn.net/Kenji_Shinji/article/details/127314332)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值