本文解析了Query、Key和Value在搜索引擎中的概念，通过电商搜索实例阐述它们的关系，并介绍注意力机制在向量表示中的运用。重点讲解了Q（查询向量）与K（关键词向量）及V（信息向量）的计算过程，涉及矩阵乘法和嵌入式技术。
Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。
来源：https://zhuanlan.zhihu.com/p/48508221
可以参考下图，每一个单词都有QKV这三个向量，这里运用了注意力机制，也有是会去求其他单词和该单词的匹配度，那Q表示的就是与我这个单词相匹配的单词的属性，K就表示我这个单词的本身的属性，V表示的是我这个单词的包含的信息本身。
这三个向量都是对embedding线性运算得到的，其实就是一个矩阵乘法。参考第二张图。
参考：
https://zhuanlan.zhihu.com/p/48508221
http://jalammar.github.io/illustrated-transformer/
727
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
