attention权重解读

Attention机制：

1. Attention用于计算"相关程度", 例如在翻译过程中，不同的英文对中文的依赖程度不同
2. Attention通常可以进行如下描述，表示为将query(Q)和key-value pairs[公式] 映射到输出上
3. 其中query、每个key、每个value都是向量，输出是V中所有values的加权，其中权重是由Query和每个key计算出来的，计算方法分为三步：**
第一步：计算比较Q和K的相似度，用f来表示
点乘 dot product f(Q,K) = Q^T *K
第二步：将得到的相似度进行Softmax操作，进行归一化
权重 General f(Q,K) = Q^T W K
第三步：针对计算出来的权重 [公式] ,对V中所有的values进行加权求和计算，得到Attention向量
拼接权重 Concat f(Q,K) = W[Q;K]
感知器 Perceptron f(Q,K) = V^Ttanh(WQ + UK)