1.结构
Encoder和Decoder均由6个相同的层组成,可将上图简化为下图表示:(Encoder的输出与每个Decoder相连)
Encoder的每一层又包含两个sub-layers:
multi-head self-attention mechanism
简单的全连接层
Decoder的每一层除了在上述两个sub-layers的中间再插入一个encoder-decoder attention sub-layer。
2.位置编码(Positional Encoding)
仅仅只使用自注意力机制会丢失文本原有的序列信息
位置编码 来刻画数据在时序上的特征
横坐标表示输入序列中的每一个Token,每一条曲线或者直线表示对应Token在每个维度上对应的位置信息。在左图中,每个维度所对应的位置信息都是一个不变的常数;而在右图中,每个维度所对应的位置