机器学习中的自注意力（Self Attention）机制详解

机器学习中的自注意力（Self Attention）机制详解

2020/6/18更新：

---

之前写的有点误人子弟，只看了几个代码就把特殊当一般了，还是推荐阅读复旦大学邱锡鹏老师的《神经网络与机器学习》一书中关于注意力机制的解释。
本想把自己论文中关于注意力机制的解释放在这里的，但担心查重出现问题，还是不放了。
笔记：所谓的自注意力机制的“自”指的是一组信息中每个信息和整组信息求注意力，也就是整组信息自己和自己求注意力，可以看作一种动态的全连接层。

旧文：

---

自注意力公式如下：

$$Att(Q,K,V)=\omega (Q{K}^T)V$$

其中$Att(Q,K,V)$是得到的注意力的值，$Q$、$K$、$V$分别是查询向量（Query Vector）矩阵、键向量（Key Vector）矩阵和值向量（Value Vector）矩阵，这三个矩阵中每一行分别代表一个对应的向量。$Q$、$K$、$V$一般通过把输入序列$X$分别乘以三个矩阵$W^q$、$W^k$、 W v W^v W