RNN与attention在处理sequece to sequece任务时的对比

参考文章

attention机制及self-attention(transformer)_Enjoy_endless-CSDN博客_selfattention机制

RNN：分心模型，解码时每个位置输入的source信息是一样的，都是C

Attention：解码时每个位置输入的source信息是不一样的，各有侧重

        需要注意的是attention与self attention是有区别的，关键在于对Q、K、V三个向量的理解。其中Q是不一样的，K，V可以认为是一样的。在较老的soft attention中，Q是是decoder中RNN的隐变量。详细可见：NLP实践九：Attention原理与文本分类代码实践_chen_yiwei的博客-CSDN博客。而self attention中的Q、K、V都来自于输入，都有输入乘上三个不同的W矩阵获得。