Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现

一，Transformer架构介绍：

      Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer）。第一个子层是多头自注意力（multi‐head self‐attention）

汇聚；第二个子层是基于位置的前馈网络（ positionwise feed‐forward network ）。具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出， 每个子层都采用

了残差连接（ residual connection ）。在 Transformer 中，对于序列中任何位置的任何输入 x ∈ R d ，都要求满 足sublayer ( x ) ∈ R d ，以便残差连接满足 x + sublayer ( x ) ∈ R d。在残差连接的加法计算之后，紧接着应用层 规范化（layer normalization）。因此，输入序列对应的每个位置，Transformer编码器都将输出一个 d维表示向量。 Transformer解码器也是由多个相同的层叠加而成的，并且层中使用了残差连接和层规范化。除了编码器中 描述的两个子层之外，解码器还在这两个子层之间插入了第三个子层，称为编码器－解码器注意力（encoder‐ decoder attention）层。在编码器－解码器注意力中，查询来自前一个解码器层的输出，而键和值来自整个 编码器的输出。在解码器自注意力中，查询、键和值都来自上一个解码器层的输出。但是，解码器中的每个位 置只能考虑该位置之前的所有位置。这种掩蔽（masked）注意力保留了自回归（auto‐regressive）属性，确 保预测仅依赖于已生成的输出词元。

二，嵌入层和位置编码的作用：

举个例子，假设我们正在处理一个英语到西班牙语的翻译问题，其中一个样本的源序列是 "The ball is blue"，目标序列是 "La bola es azul"。

源序列首先通过 Embedding 和 Position Encoding 层，为序列中的每个单词生成嵌入。随后嵌入被传递到编码器，到达 Attention module.

Attention module 中，嵌入的序列通过三个线性层（Linear layers），产生三个独立的矩阵--Query、Key、Value。这三个矩阵被用来计算注意力得分。这些矩阵的每一 "行 "对应于源序列中的一个词。

位置编码的简单图示：

三，多头自注意力网络（MultiHead Self-Attention）：

多头点积注意力：

Query 与 Key 的转置进行点积，产生一个中间矩阵，即所谓“因子矩阵”。因子矩阵的每个单元都是两个词向量之间的矩阵乘法。

如下所示，因子矩阵第 4 行的每一列都对应于 Q4 向量与每个 K 向量之间的点积；因子矩阵的第 2 列对应与每个 Q 向量与 K2 向量之间的点积，这个“因子矩阵”就是注意力分数（Attention Score）

因子矩阵再经过Softmax函数生成一组概率分布也就是注意力权重（Attention Weights）再和 V 矩阵之间进行矩阵相乘，产生注意力池化（Attention Pooling）输出。可以看到，输出矩阵中第 4 行对应的是 Q4 矩阵与所有其他对应的