如何理解SelfAttention

1. 如何理解attention

attention可以理解为一种soft方式的用key找value

• a. Key找Value: 是有了key，就找出对应的value
• b. soft方式的 Key找Value: Query*key ->value, attention是Key要结合着Query，然后看在多大程度上使用value
• c.除了上述公式，也可以用别的Query和key的计算方式，比如：
  $$f(Q,K)=\{\begin{array}{rcl}{Q}^T\ast K& & dot\\ Q^T\ast W\ast K& & general\\ W\ast [Q,K]& & concate\\ tanh(W_1\ast Q+W_2\ast K)& & nerual\_network\end{array}$$

2. 如何理解self?
Q K V都是基于input x产生的；实际上是input的self-attention
$Q=x{W}^Q$
$K=x{W}^K$
$V=x{W}^V$

参考资料:

1. https://cloud.tencent.com/developer/article/1358326
2. https://www.cnblogs.com/robert-dlut/p/8638283.html