对于Attention机制中Q，K，V的一些理解

Q、K、V是什么

[PS：本文谈论的Q、K、V只限于seq2seq结构]

• Q：指的是query，相当于decoder的内容
• K：指的是key，相当于encoder的内容
• V：指的是value，相当于encoder的内容

看到这里，是不是只想直呼卧槽，这什么鬼。不急，先看一个例子

例子

由于讨论的是seq2seq任务，于是来看看机器翻译。
假如我们要将我喜欢看电影翻译成I like watching movies，步骤则会如下

• 使用一种编码方式(如LSTM、CNN、Transformer等)编码中文
• 使用一种方式解码
  • 机器翻译这个任务中会在解码端给一个开始的标记，如</s>，我们根据这个标记传给解码端，开始生成英文，比如生成了I这个单词，下一步当然是需要生成’like’这个单词，于是这个I将会作为query集去查找，形象话说就是我们需要使用已经有的东西去询问一些事情。
  • 去哪里查找？当然是编码端，也就是那些可以被查找的信息，如果原文在编码中是字向量表示则是我、喜、欢、看、电、影。
  • 找到了返回啥的信息？返回编码端的信息，具体的会将我、喜、欢、看、电、影做一个调整再回传。

到这里，对于使用Attention机制的seq2seq任务，这么理解我认为是没问题的

推荐资料

http://jalammar.github.io/illustrated-transformer/
另外，jalammar这位大神写了不少有意义的资料，推荐读一读
https://www.youtube.com/watch?v=gciHGREJdJ4
这个视频是对BERT的介绍，里面有提到对Attention机制的理解，本文的写作来自于这个人的视频。