Transformer Decoder

最新推荐文章于 2024-06-15 11:15:05 发布
最新推荐文章于 2024-06-15 11:15:05 发布
阅读量1w 收藏 76
点赞数 42
文章标签： 自然语言处理 深度学习 机器学习
原文链接：https://medium.com/dissecting-bert/dissecting-bert-appendix-the-decoder-3b86f66b0e5f
版权

这是一篇主要讲解decoder的博客，由于第一次写博客，所以以翻译别人的为主，加上自己的见解（原文https://medium.com/dissecting-bert/dissecting-bert-appendix-the-decoder-3b86f66b0e5f），如果不了解encoder部分，建议先可以看https://zhuanlan.zhihu.com/p/54356280

 

本文主要讲解Transformer中的Decoder部分，后续其他部分可能会补充

首先，我们先定义几个常用的变量（以翻译为例）：

emb_dim:表示词嵌入的维度

input_length:表示input单词的个数

target_length:表示target_sequence的个数 + 1，为什么会加1会在后面详细说明

vocab_size:表示所有target单词的总个数，其实就是词库的意思

1.Problem

由于NLP涉及的方面较多，在本文中我们主要利用transformer解决翻译方面的问题。为了将一种语言翻译为另一种语言，我们希望我们的模型可以完成以下任务：

  1. 能够获取输入语言中各个单词之间的联系，也就是类似分析语言中主谓宾、定状补成分等等。这一部分其实在transformer中的encoder已经实现。
  2. 能够将输入语言中所包含的信息和每一步中已翻译的信息进行结合（输入语言中所包含的信息其实就是encoder的输出，而decoder进行预测的时候是一个单词一个单词预测的）。这一部分其实就是decoder所需要进行的处理。

encoder和decoder是transformer中两个主要组成部分，如下图所示：

图1 Encoder与Decoder

2.主要流程

信息在transformer结构中的传递主要如下所示：

1.首先将输入序列的每一个单词每一个单词转化为词嵌入向量，词嵌入向量的维度为（emb_dimb），一句话中总共的单词长度为input_length，因此可以得到一个input_length * emb_dimb大小的矩阵，其中每一行代表的是一个单词。

2.将1中得到的结果加入位置信息（positional encoding），得到的仍然是一个input_length * emb_dimb大小的矩阵。

3.然后将2中得到的结果传入N个encode块中，我们得到的仍然是一个input_length * emb_dimb大小的矩阵，至于为什么会是矩阵大小一致可以参照图7，此时的矩阵其实已经包含了输入序列中各个单词之间的关系。

4.接着将目标序列同样进行1、2的操作，并在此基础上进行mask（如何mask下面会讲到）以防其看到未来信息从而导致过拟合。由于目标序列单词的长度为target_length，所以我们得到了一个（target_length * emb_dimb）大小的矩阵。

5.将4中的结果输入到N个decoder块中，每一个decoder块同时也使用了3中的结果，如下图2所示，每一个decoder块输出的矩阵大小为target_length * emb_dimb，正是因为矩阵的输入和输出大小一样，所以我们才可以进行迭代的输入到N个decoder块中。

6.最后将5中的结果输入到一个全连接层中，得到一个(target_length * vocab_size)大小的矩阵，然后对每一行进行softmax，每一行中最大的值即代表了每个输入对应的输出结果。

图2 encoder与decoder对应的关系

 

3.输入

本文所描述的算法主要是利用目标序列和输入序列对网络进行训练。在本节中我们主要讨论的是怎样将一个目标序列（例如： “Hola, como estás ?”）变成一个矩阵的从而可以输入到decorder块中。这个过程其实是和encoder类似：1.进行embeding，将每一单词转化为一个向量形式。2.进行位置编码，添加位置信息。但是和encoder不同之处在于目标序列是有偏移的，例如：[“Hola”, “, “, “como”, “estás”, “?”]→[“<SS>”, “Hola”, “, “, “como”, “estás”, “?”] 

为什么要这样做呢？我们可以想到在测试的时候我们是没有target sequence的，但是我们需要给定一个decoder的输出才能让它进行预测，这个时候我们只能给定一个开始标记，即<SS>。由于进行了位置编码，相当于我们告诉decoder“让我们根据encoder的编码信息开始预测第一个target sequence的输出吧”。这就解释了为什么target_length需要+1。

 

4.Decoder（train and test）

在这一节中主要讨论的是Decoder与Encoder不同的地方

图3 decoder

在测试阶段（没有真实标签）：

1.从input sequence中计算embeding，通过N个Encoder块得到各个单词之间关系。

2.使用一个开始的标志进行预测，例如上面的<SS>输入到decoder块中，并结合从Encoder中得到输入序列的关系，从而得到一个输出，即<SS>的下一个单词“Hola”。

3.将["<SS>", "Hola"]作为输入，重复上述过程，直到输出一个结束的提示，如<EOS>

我们可以看到在测试阶段是一个单词一个单词输出，而不是所有单词一起输出，这一点和RNN很类似

 

在训练阶段：

由于在训练阶段我们有target sequence，但是target sequence是存在偏移的，所以我们希望通过一个有偏移的target sequence去预测一个没有偏移的target sequence：

例如[‘<SS>’,’Hola’, ‘,’, ‘ como’, ‘estas’, ‘?’] ----> [’Hola’, ‘,’, ‘ como’, ‘estas’, ‘?’,’<EOS>’]

在训练阶段我们希望并行训练，类似于上面给的例子，一次性给出全部input sequence，然后一次性预测所有target sequence，而不是像测试过程一样，只能用上一个单词的输出来预测下一个，因此会产生一个问题：由于我们是直接将全部目标序列输入进行训练的，因此模型很容易看到未来信息，例如当我们想要预测estas时，模型可能看到como右边就是estas，因此它很有可能在下一次看到como这个单词的时候就直接输出estas。 所以我们需要修改一些注意层，防止右侧看到信息的模型，同时可以让它使用已经预测出来的信息（左侧信息）即Masked multi-head attention,如下图所示，我们利用<SS>对Hola进行预测，利用[<SS>、‘’Hola’]对‘,’进行预测，预测‘estas‘’时，我们使用的是绿色区域的信息，当然我们可以在像在测试的时候一样一个一个进行预测，然后利用反向传播进行修正，但是这样会奇慢无比（我个人的理解），因此我们需要进行并行训练:

Masked multi-head attention其实和multi-head attention很类似，唯一不同的就是将未来信息给Mask掉了。我们直接通过例子来进行说明：

首先我们先计算target sequence的 embeding 向量，然后分别产生Q、V、K向量，再通过(Q*K)/\sqrt{d}计算各个word之间的attention程度大小，产生一个target_length * target_length维度的矩阵，如下图4所示：

图4 target attention

由上图我们可以清晰的看到target sequence中各个单词之间的attention，但是在训练阶段我们应该避免看到未来信息，例如在上述矩阵第一行中我们分别计算了<SS>与<SS>、<Hola>、<,>、<como>、<estas>、<?>之间的attention大小，但是在测试阶段我们只有<SS>这个单词的embeding，因此我们只能计算<SS>与<SS>自己的attention，而没办法计算<SS>与其他单词的attention大小，所以在训练阶段我们应该将<SS>与<Hola>、<,>、<como>、<estas>、<?>之间的attention给mask掉。同理在<Hola>这一行中我们应该将其与<,>、<como>、<estas>、<?>的注意力mask掉，如下图5所示：

图5 mask attention

为什么我们要将这些注意力设置为-Inf呢？继续往下我们可以看到，当我们将这些未来的注意力设置为-Inf的时候，如果我们再对每一行其进行softmax，那么-Inf位置的attention就是为0的，正好满足我们不给未来信息任何注意力的要求，所以我们得到了一个严格的下三角矩阵，如下图6所示：

图6 attention softmax

上面这个矩阵有一些地方是有问题的（第4行第4列应该接近1.0）。后续步骤其实就和multi-head attention一模一样了。现在我们重新捋一遍矩阵大小，来了解一下它的来龙去脉。如下图所示，先将target sequence进行embeding，将其转化为target_length * embeding_length大小的矩阵（embeding_length=512），每一行代表一个单词，每一行都会产生一个Q、K、V向量，d_{q},d_{k},d_{v}的维度都是64,通过Q、K可以得到各个单词之间的attention，维度为：target_length * target_length。将attention矩阵乘以V矩阵，得到target_length * 64维度的矩阵，由于使用的是multi-head attention，因此需要将每个每一个attention的结果进行拼接，从而得到target_length * embeding_length大小的矩阵，进一步证明了输出维度与输入维度是相同的，如下图7所示。

图7 矩阵大小

经过mask multi-head attention之后产生的矩阵大小和target_length*embeding_length一样，只不过它仅仅是是融合了之前的信息（即已翻译的单词）。例如下图，我们输入[a、b、c、d] -----> [e、f、g、h]，其中各个字母分别对应的是一维向量，我们选取其中的g来举例，它分别融合了a、b、c向量的信息，而没有融合d之间的信息（即未来信息），并且[e、f、g、h]和[a、b、c、d]的矩阵维度是一致的，如下图8所示：

图8 mask attention

 

5.Multi-Head Attention — Encoder output and target

由上一节可以知道通过mask multi-head attention可以得到一个target_length * embeding_length维度的矩阵，我们依然能将这个矩阵的每一行（即每一个单词）输出对应的Q、K、V向量，但是在这里我们仅仅只使用了它的Q向量，而K、V向量则来自于encoder的输出，各个矩阵的维度如下所示：

Q: target_length * d_{v}

K: input_length *  d_{v}

V: input_length *  d_{v}

接下来我们依然通过attention计算公式(Q*K^{T})/\sqrt{d_{v}}来计算对应的attention，这个attention矩阵维度为：target_length * input_length，即input sequence和target sequence之间的联系，为了便于理解，我们直接给出一个例子，如下图所示：

input & target relationship

再将上述attention矩阵与V矩阵相乘，由于是multi attention，因此有多个attention矩阵，最后再将结果按列concat起来得到一个target_length * embeding_legnth矩阵，以便于保证作为下一个deconder块的输入，下图以一个attention为例进行介绍：

6.linear and softmax

通过上述可知，由decoder块输出的矩阵维度大小为target_length * embeding_length，但是我们想得到的是target sequence。例如在上面的例子将英语翻译成西班牙语，我们需要做的是从所有的西班牙语单词中找到与之匹配的单词，而在本篇博客的开头我们就设vocab_size表示所有目标单词的总个数，因此我们需要一个linear层，将target_length * embeding_length ----> target_length * vocab_size，再对每一行进行softmax，每一行中最大概率的位置即代表了其预测的下一个单词。

 

参考资料：

1.Dissecting BERT Appendix: The Decoder  https://medium.com/dissecting-bert/dissecting-bert-appendix-the-decoder-3b86f66b0e5f

2.Dissecting BERT Part 1: The Encoder  https://medium.com/dissecting-bert/dissecting-bert-part-1-d3c3d495cdb3

3.Attention Is All You Need; Vaswani et al., 2017.

4.BERT大火却不懂Transformer？读这一篇就够了   https://zhuanlan.zhihu.com/p/54356280

这是本人的第一篇博客，如果有什么问题希望大家多多见谅，只是想在这记录一下自己学到的东西，能帮助大家更好~

weixin_42418688
关注
  • 42
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
BERT模型分析
无问西东
04-20 523
Bert Config中的几个参数 - vocab_size: Vocabulary size of `inputs_ids` in `BertModel`. 词汇表大小 hidden_size: Size of the encoder layers and the pooler layer. encoder层和pooler层大小。 （embedding size） num_hidden_layers: Number
大白话Transformer结构-从此爱上Transformer
05-06
以通俗的语言讲解Transformer的整体流程和思想，让你了解Transformer的来龙去脉。资料：
Transformer系列：图文详解Decoder解码器原理
最新发布
2401_85343303的博客
06-15 1519
Encoder-Decoder框架简介shifted right移位训练解码器的并行训练和串行预测解码器自注意力层和掩码解码器交互注意力层和掩码解码器输出和损失函数在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来进行建模，Transformer的网络结构也是基于encoder-decoder框架设计的。
Transformer Decoder详解
To be a better man
05-24 5417
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
Transformer翻译模型Decoder详解（Masking）
weixin_37735081的博客
02-11 9449
写这个博客的原因在于：大部分解释Transformer的文章都只注重讲解Encoder部分，在Encoder中又侧重讲解self-attention原理。为了读者更好地理解整个Transformer的训练过程，我决定结合代码写一篇在理解了Encoder部分怎么理解Decoder模块的博文。 参考文章：https://jalammar.github.io/illustrated-transforme...
【深度学习】NLP之Transformer (2) Decoder
littlemichelle
02-19 3487
主要围绕着decoder部分展开。吸收了网上博客的内容，进行了下自己的输出。。。 目录 1. Decoder的问题 2. 回顾 transformer​ 3. mask 3.1. Padding Mask 3.2. Sequence mask 4. QA 1. Decoder的问题 传统seq2seq是按照时间顺序展开，所以decoder就是按照time，一步一步输入。 【深度学习】NLP之Transformer (1) 中介绍了，transformer是并行的，就是说这个句子，在.
Transformer模型详解05-Decoder 结构
liaomin416100569的专栏
05-14 1491
Transformer 模型由编码器（Encoder）和解码器（Decoder）两部分组成。这里我会着重描述解码器的结构以及在预训练、输入输出和预测时的输入输出。自注意力层（Self-Attention Layers）：与编码器类似，解码器也包含多个自注意力层，用于在解码器端对输出序列的不同位置进行关注，解码器中的自注意力层被修改为接受一个遮盖（masking）向量，以便在计算注意力权重时将未来的信息屏蔽掉，只关注当前位置之前的信息。。
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了...
transformer详解
08-18
Transformer 模型是一个 Encoder-Decoder 架构，由编码组件和解码组件组成。编码组件由多层编码器（Encoder）组成，解码组件也是由相同层数的解码器（Decoder）组成。编码器的输入会先流入 Self-Attention 层，能够...
transformer.zip
08-26
Transformer模型由多个组件构成，主要包括编码器（Encoder）和解码器（Decoder）。编码器由多个相同的层堆叠而成，每个层又包含两个子层：多头自注意力（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward ...
transformer代码
12-11
Transformer模型主要由两个核心组件构成：编码器（Encoder）和解码器（Decoder）。编码器负责理解输入序列的信息，而解码器则生成输出序列。每个组件都包含多层自注意力（Self-Attention）和前馈神经网络（Feed-...
Transformer学习笔记
ljp1919的专栏
01-26 3463
0-背景 机构：Google 大脑 作者：Ashish Vaswani等 发表会议：NIPS2017 面向任务：机器翻译 论文地址：https://arxiv.org/abs/1706.03762 论文代码：https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py 本文主要...
【MindSpore易点通】Transformer的编码和解码
xi_xiyu的博客
09-09 2007
Decoder结构图中蓝框部分为Transformer的Decoder block结构，包含两个Multi-Head Attention层。第一个Multi-Head Attention层采用了Masked操作。第二个Multi-Head Attention层的K, V矩阵使用 Encoder 的编码信息矩阵C进行计算，而Q使用上一个 Decoder block 的输出计算。最后有一个 Softmax 层计算下一个翻译单词的概率。
【Transformer系列（4）】Transformer模型结构超详细解读
路人贾的博客
04-20 9500
Transformer模型结构超级详细的解读，一文带你了解什么是Transformer，小白入门必看！
Transformer入门（一）——结构
yeen123的博客
06-02 8566
Transformer入门介绍篇，分别介绍了Transformer的总体结构与每个模块的实现原理
Transformer理解
zycxnanwang的博客
07-07 1029
Transformer理解 Transformer，是google, 2017年提出的一个特征提取模型，最近大火的Bert就是构建在Transformer的基础 上的，所以我们有必要深入学习一下。下面是我通过阅读原论文、博客资料，得到的一些理解 背景 在Transformer未提出来之前，RNN是自然语言处理领域用得最广的深度学习框架，RNN有两个最大的缺点， 一是RNN无法提取长距离依赖信息...
Transformer的结构是什么样的？各个子模块各有什么作用？
思念可是反的博客
07-18 3923
Transformer的结构是什么样的？各个子模块各有什么作用？ Transformer总体架构图 Encoder模块 Encoder模块的结构和作用: 经典的Transformer结构中的Encoder模块包含6个Encoder Block. 每个Encoder Block包含一个多头自注意力层, 和一个前馈全连接层. 关于Encoder Block: 在Transformer架构中, 6个一模一样的Encoder Block层层堆叠在一起, 共同组成完整的Encoder, 因此剖析一个
关于transformer模型总结（源码）
热门推荐
yiyele的博客
08-21 1万+
本文主要是对transfermer模型的源码进行解析： transfermer主要结构是由encoder和decoder构成。其中，encoder是由embedding + positional_encoding作为输入，然后加一个dropout层，然后输入放到6个multihead_attention构成的结构中，每个multihead_attention后面跟一个feedforwar...
Encoder-Decoder、Seq2Seq、Attention 以及Transformer之间的关系
Wisimer
02-23 2773
一、Encoder-Decoder 模型 首先我们来了解一下Encoder-Decoder 模型， Encoder-Decoder 主要是 NLP 领域里的概念，它并不特值某种具体的算法，而是一类算法的统称，称之为Encoder-Decoder结构更合适。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。Encoder-Decoder 这个框架很好...
Transformer decoder
04-24
Transformer decoder是Transformer模型中的一个重要组件，用于生成目标序列。在自然语言处理任务中，decoder主要用于生成翻译、摘要、对话等任务的输出。 Transformer decoder由多个相同结构的层组成，每个层包含多头自注意力机制和前馈神经网络。其中，自注意力机制用于捕捉输入序列中不同位置之间的依赖关系，而前馈神经网络则用于对每个位置的表示进行非线性变换。decoder通过多层的堆叠来逐步生成输出序列。 具体来说，decoder的输入包括两部分信息：encoder输出的编码序列和之前已生成的部分目标序列。在生成每个位置的输出时，decoder首先通过自注意力机制对已生成的目标序列进行编码，并融合编码序列的信息。然后，利用前馈神经网络对融合后的表示进行非线性变换，得到最终的输出。 在训练过程中，decoder的输入包括目标序列的全部信息，而在生成过程中，则是逐步生成输出序列，直到遇到终止符或达到最大长度为止。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值