一、Q、K、V是什么?
- q代表的是query查询,后续会和每一个k进行匹配,找到最相似的k
- k代表的是key关键字,后续会被每一个q匹配
- v代表的是value值,代表从输入中提到的信息
注意:每一个key,都对应一个value;计算query和key的匹配程度就是计算两者相关性,相关性越大,代表key对应value的权重也就越大,这就是不同信息的权重不一样,这就是注意力机制!
二、例子
图书馆里有很多书(value),为了方便查找,我们给书做了编号(key)。当我们想要了解漫威这本书(query)的时候,我们就可以看看那些动漫、电影、甚至二战(美国队长)相关的书籍。
参考文章
- Transformer详解——知乎