Transformer框架代码实现流程：
1.EncoderDecoder类实现编码器-解码器网络结构。
包括五个部分：编码器、解码器、编码器嵌入输入层、解码器嵌入输入层、generator生成输出。
1.1 模型输出：Linear+softmax
1.2 解码器层，包括三个子层：多头注意力子层+规范化层+残差连接、多头注意力层+规范化层+残差连接、前馈全连接层+规范化层+残差连接
1.2.1规范化层：采用layer normalization，防止随着网络层书增加导致计算后输出开始出现过大或者过小的情况。
1.2.2前馈全连接层：两个前向全连接层组成，每个时间步只是对自己的特征的一个进一步整合，而attention模块中每个时间步都整合了所有时间步的信息。
1.2.3多头注意力机制：V、K、Q各通过linear，然后通过attention机制，最后concat、通过linear输出结果。
1.3编码器层：第一子层包括一个多头自注意力层+规范化层+残差连接，第二子层包括一个前馈全连接层+规范化层+残差连接。
（Encoder
（layers
（2 * sublayerConnection
（sublayer（FeedForward/Muti-HeadAttention）+dropout+Add+Norm）
）
+norm）
）
1.3.1将encoder分为两个结构相似的子层，通过sublayerConnection类描述这种结构关系，首先把attention和feedforward作为一个抽象可变的sublayer，forward过程为sublayer->dropout->add->Norm。
1.4位置编码：
1.5 Embedding层：利用torch提供的nn.Embedding，传入输入vocab维度和输出的d_model维度。
2.掩码的作用
掩码的作用：1.屏蔽掉无效的padding区域。2.屏蔽来自“未来”的信息，Encoder中的掩码是第一个作用，Decoder中发挥的是两个作用。
3.Transformer实践内容：
开源代码：
代码对应教程：
最全的Transformer讲解：
扫一扫
1196
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
