参考文章
attention机制及self-attention(transformer)_Enjoy_endless-CSDN博客_selfattention机制
RNN:分心模型,解码时每个位置输入的source信息是一样的,都是C
Attention:解码时每个位置输入的source信息是不一样的,各有侧重
需要注意的是attention与self attention是有区别的,关键在于对Q、K、V三个向量的理解。其中Q是不一样的,K,V可以认为是一样的。在较老的soft attention中,Q是是decoder中RNN的隐变量。详细可见:NLP实践九:Attention原理与文本分类代码实践_chen_yiwei的博客-CSDN博客。而self attention中的Q、K、V都来自于输入,都有输入乘上三个不同的W矩阵获得。