weixin_37734833的博客

目录1. 前言2.从整体宏观来理解Transformer3. 从细节理解Transformer3.1 Transformer 的输入3.2 Encoder(编码器)3.3 Self-Attention 整体理解3.4 Self-Attention 的细节计算Query 向量，Key 向量，Value 向量(Q K V)计算 Attention Score（注意力分数）使用矩阵计算 Self-Attention多头注意力机制（multi-head attention）4. 代码实现矩阵计算 Attention

目录图解AttentionSeq2seq模型细节图解Transformer图解AttentionSeq2seq模型序列到序列（seq2seq）顾名思义输入和输出都是序列，应用场景有很多，比如机器翻译、文本摘要、图像描述生成等。一个序列到序列（seq2seq）模型，接收的输入是一个（单词、字母、图像特征）序列，输出是另外一个序列。一个训练好的模型如下图所示：在神经机器翻译中，一个序列是指一连串的单词。类似地，输出也是一连串单词。细节seq2seq模型是由编码器（Encoder）和解码器（De