深入了解Transformer——从编码器到解码器

已于 2024-08-06 09:22:04 修改
阅读量2k 收藏 27
点赞数 26
分类专栏： 深度学习 文章标签： transformer 神经网络 深度学习
于 2024-01-16 10:39:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45956028/article/details/135618490
版权
Transformer模型自2017年推出以来，在自然语言处理领域引发了革命。本文深入探讨了其核心构成：自注意力机制及多头注意力，并介绍了编码器与解码器的工作原理。此外，还分析了Transformer的特点与优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深入了解Transformer：从编码器到解码器的神经网络之旅

0.引言

自2017年问世以来，Transformer模型在自然语言处理（NLP）领域引发了一场革命。它的独特设计和高效性能使其成为了解决复杂语言任务的关键工具。

1.Transformer的核心构成

(1)自注意力机制

Transformer的核心在于自注意力机制。它允许模型在处理每个词时考虑句子中的所有其他词，从而有效捕获长距离依赖关系。这是通过计算查询（Q）、键（K）和值（V）之间的关系实现的，其中注意力分数是通过以下公式计算得出的：
Attention(Q, K, V) = softmax ( QK T d k ) V \text{Attention(Q, K, V)} = \text{softmax}\left(\frac{\text{QK}^T}{\sqrt{d_k}}\right)\text{V} Attention(Q, K, V)=softmax(dk​ ​QKT​)V

(2)多头注意力

Transformer采用多头注意力机制，将注意力分散到不同的表示子空间，允许模型同时从多个角度理解信息。这种机制通过以下方式实现：
MultiHead(Q, K, V) = Concat ( head 1 , . . . , head h ) W O \text{MultiHead(Q, K, V)} = \text{Concat}(\text{head}_1, ..., \text{head}_h)\text{W}^O MultiHead(Q, K, V)=

最低0.47元/天 解锁文章
Transformer 的双向编码器表示 (BERT)
gongdiwudu的专栏
01-05 5890
本文介绍语言句法中，最可能的单词填空在self-attention的表现形式，以及内部原理的介绍。
AIGC实战——自编码器(Autoencoder)
盼小辉丶的博客
11-13 5518
自编码器 (Autoencoder) 是一种无监督学习的神经网络模型，用于学习输入数据的低维表示。它由编码器和解码器两部分组成，通过将输入数据压缩到潜空间表示(编码)，然后将其重构为与原始输入尽可能相似的形式(解码)。在本节中，我们将使用 Keras 构建一个标准的自编码器，以理解自编码器的工作原理。
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 7504
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 7003
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
一文Transformer原理详解：Transformer模型框架、编码器（Encoder)、解码器（Decoder)
最新发布
m0_56255097的博客
03-14 1728
主要由编码器（Encoder）和解码器（Decoder）两部分组成Encoder将输入转化为固定维度的向量，由多个相同的层组成。每层有两个子层，分别是自注意力层（Self-Attention Layer）和前馈全连接层（Feedforward Layer）。其中，自注意力层通过计算输入的每个元素与其他元素的注意力分数来捕捉元素之间的长程依赖关系；而前馈全连接层将每个元素映射到另一个向量空间以捕捉更高级别的特征。
深度学习理论基础（七）Transformer编码器和解码器
qq_1033275663的博客
04-07 3200
但是Transformer 的是完全基于self-Attention地，而self-attention是不能获取词语位置信息的，就算打乱一句话中词语的位置，每个词还是能与其他词之间计算attention值，就相当于是一个功能强大的词袋模型，对结果没有任何影响。它允许模型在输入序列中学习词与词之间的依赖关系，通过计算每个词对其他词的注意力权重来实现。编码器的作用是将输入序列转换为语义表示，学习输入序列中词与词之间的依赖关系，并提取输入序列的特征表示，为解码器生成目标序列提供有用的信息。
Transformer 模型介绍（四）——编码器 Encoder 和解码器 Decoder
金陵城中夜将沉的博客
02-16 4416
上篇中讲完了自注意力机制 Self-Attention 和多头注意力机制 Multi-Head Attention，这是 Transformer 核心组成部分之一，在此基础上，进一步展开讲一下编码器-解码器结构（Encoder-Decoder Architecture）
【MindSpore易点通】Transformer的编码和解码
xi_xiyu的博客
09-09 2171
Decoder结构图中蓝框部分为Transformer的Decoder block结构，包含两个Multi-Head Attention层。第一个Multi-Head Attention层采用了Masked操作。第二个Multi-Head Attention层的K, V矩阵使用 Encoder 的编码信息矩阵C进行计算，而Q使用上一个 Decoder block 的输出计算。最后有一个 Softmax 层计算下一个翻译单词的概率。
Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）
njhniubi的博客
07-28 2787
编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前，我们先引入三个概念--掩码张量，注意力机制，多头注意力机制。
Transformer细节（五）——详解Transformer解码器的自注意力层和编码器-解码器注意力层数据处理机制
weixin_47129891的博客
06-22 1169
在训练阶段，解码器的自注意力层和编码器-解码器注意力层可以并行处理目标序列的所有时间步，因为使用了教师强制技术，目标序列的前缀是已知的。具体来说，自注意力和编码器-解码器注意力的计算都可以通过矩阵运算在所有时间步上并行完成。这种并行处理使得Transformer模型在训练时效率非常高，能够快速处理长序列数据。
编码器——译码器、束搜索、注意力机制、机器翻译、基于Transformer实现机器翻译
成长型选手+开源知识分享
06-24 1218
part1.编码器—译码器深入研究 Seq2Seq 模型的核心结构，其中我们解开了编码器和解码器的角色和功能。此部分将阐明这两个组件如何相互作用以有效地处理和翻译各种 NLP 任务中的序列。Seq2Seq模型中的编码器-解码器框架序列到序列模型彻底改变了我们在 NLP 中处理语言任务的方式。核心思想是将输入序列（如句子中的单词）映射到输出序列（如另一种语言的翻译单词）。这种映射是通过两个主要组件实现的：编码器和解码器，通常使用长短期记忆 （LSTM） 网络或门控循环单元 （GRU） 实现。
神经网络算法 ：一文搞懂 Encoder-Decoder（编码器-解码器）
热门推荐
2401_84033492的博客
04-01 3万+
本文将从Encoder-Decoder的本质、Encoder-Decoder的原理、Encoder-Decoder的应用三个方面，带您一文搞懂Encoder-Decoder（编码器-解码器）。
1.Transformer之序列到序列任务中的编码-解码
DAICONG’s Blog
05-24 690
文章目录1.简介1.4通过rnn的编码解码机制引出attention机制2.序列到序列的注意力机制（seq2seq with attention）2.1 seq2seq with attention网络架构2.2 seq2seq with Attention编码器Encoder原理2.3 seq2seq with Attention编码器Decoder原理2.4 seq2seq with Attention原理实现 1.简介 seq2seq 就是一个任务，实现的是从序列到序列的映射，比如将我爱你翻译成i
神经网络图像识别代码,编码解码神经网络
aifamao6的博客
09-02 1130
现代计算机多把运算器和控制器做在一起，叫微处理器，由于计算机的心脏——微处理器（计算机芯片）的集成化，使微型计算机应运尔生，并在70－80年代间得到迅速发展，特别是IBMPC个人计算机出现以后，打开了计算机普及的大门，促进了计算机在各行各业的应用，五六十年代，价格昂贵、体积庞大、耗电量惊人的计算机，只能在少数大型军事或科研设施中应用，今天由于采用了大规模集成电路，计算机已经进入普通的办公室和家庭。而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信息，而且可以简化输入信息的表达空间维数。
深度学习 | 编码器-解码器网络、seq2seq模型、束搜索算法
"You are worthy! You can do it!"
12-31 4035
定义编码器self.embedding = nn.Embedding(vocab_size, ebd_size, padding_idx=3) # 将token表示为embedding# encoder_inputs从(batch_size, seq_len)变成(batch_size, seq_len, emb_size)再调整为(seq_len, batch_size, emb_size)
对Transformer中编解码器结构的深入理解
tortorish的博客
04-08 1149
中，输出的形状是（batch_size, 1, num_hiddens），因为输出的形状是和query的形状相同的。最后在step2的纵向方向上进行传播，得到step2的输出，依次类推，得到整个预测阶段每一个时间步上的词元，将各时间步上的词元进行拼接，便得到了预测出的序列。训练阶段的Transformer是比较简单的，需要注意的是编解码器连接的地方，这里用红线表示，编码器的状态会被依次传递给。然后，该向量与多头注意力机制上一步（step1）中的向量在时间维度上做拼接，拼接后的向量作为注意力机制中的键值对。
深入解析 Transformer 模型：编码器和解码器的完整实现
weixin_52582573的博客
11-06 1891
我们完成了 Transformer 模型中编码器和解码器的构建，并将它们组合成完整的模型。编码器负责将输入序列转化为高维特征，解码器在生成每个目标词时参考编码器输出，从而生成语义一致的输出序列。了解 Transformer 的内部结构有助于我们进一步优化模型，适用于各种 NLP 任务，如机器翻译和文本生成等。希望本文能帮助你理解 Transformer 编码器和解码器的核心设计和实现流程。
transformer bert seq2seq 深度学习 编码和解码的逻辑-重点
kyle1314608的博客
01-14 917
【深度学习】从seq2seq到Transformer学习记录小透明苞谷关注22019.06.23 15:03:40字数 3,520阅读 603背景 Encoder-Decoder是个非常通用的计算框架，至于Encoder和Decoder具体使用什么模型都是由研究者自己定的，常见的比如 CNN / RNN / BiRNN / GRU / LSTM / Deep LSTM 等，这里的变化组合非常多。 ...
transformer的编码器与解码器
02-10
### Transformer架构中的编码器与解码器 #### 编码器工作原理 在Transformer架构中，编码器负责处理输入序列并将其转换成上下文表示。每个编码器层主要由两部分构成：一个多头自注意力机制子层以及一个全连接前馈...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机智的小神仙儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值