Attention理解(未完待续)
总结、记录一下对Attention的理解。不保证正确。
Attention的流程,我觉得这一篇讲解的比较易于理解,根据公式过一遍就可以有一个简单的认知。整理流程与seq2seq一样。区别在于,在每一个时间点i,得到不同的编码向量C。使用不同的编码向量再进行解码,得到y。
Q,K,V的含义 Q代表输入,K代表被查找的全部,V就是内容。打个不一定恰当的比方,在数据库中搜索,Q就是从输入提取出的关键字,K就是全部数据的索引,通过Q和K的相似度找到目标。这三者不一定要一致,只是现在常用的K和V是相同的。
Atte
原创
2020-12-24 16:03:47 ·
198 阅读 ·
0 评论