本文详细介绍了Transformer的结构，包括Encoder和Decoder的组成，强调了位置编码在保持序列信息中的作用。Transformer的Encoder由多头自注意力机制和全连接层构成，Decoder则额外包含一个与Encoder交互的层。多层Transformer通过堆叠Encoder和Decoder实现，Decoder中使用上三角掩码避免信息泄漏。中间层作为特征组合器，增强模型对复杂语义的捕获能力。
1.结构
Encoder和Decoder均由6个相同的层组成，可将上图简化为下图表示：（Encoder的输出与每个Decoder相连）
Encoder的每一层又包含两个sub-layers：
multi-head self-attention mechanism
简单的全连接层
Decoder的每一层除了在上述两个sub-layers的中间再插入一个encoder-decoder attention sub-layer。
2.位置编码(Positional Encoding)
仅仅只使用自注意力机制会丢失文本原有的序列信息
位置编码 来刻画数据在时序上的特征
横坐标表示输入序列中的每一个Token，每一条曲线或者直线表示对应Token在每个维度上对应的位置信息。在左图中，每个维度所对应的位置信息都是一个不变的常数；而在右图中，每个维度所对应的位置
最低0.47元/天 解锁文章
1110
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
