transformer 由 encoder 和decoder 组成
1.1 Encoder由N=6个相同的layer组成,layer分别由multi-head self-attention mechanism 和 fully connected feed-forward network 组成,这两个分别都加了 residual connection 和 normalisation。
multi-head Attention 可以看成多个self-attention的结合
对于self-attention ,Q(Query),K(Key),V(Value)三个矩阵来自于同一输入,首先计算Q与K点乘,然后除以一个尺度标度根号dk, dk为一个query和key向量的维度。再利用softmax将结果归一化概率分布,再乘矩阵V得到权重求和的表示。
Transformer
最新推荐文章于 2023-03-03 10:27:10 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)