深度学习之自注意力机制

计算公式如上

根据上图可知，输入i矩阵，通过与Wq，Wk，Wv相乘可得对应的Q K V 然后通过K的转置使的每一个q都能乘上所有的k故将q看做矩阵，得到a后即为特征分数，然后在做激活函数，使其转化为概率分布，然后v矩阵再依次和对应的A相乘在相加最后得到一个o，故将v看做一个矩阵，那么最后也就能得到一个长度与输入相同的矩阵（在词性分析中n对n的模型中，有n个输入就必须有n个输出）。