线性注意力

这是关于提升transormer 效率的方法. 故而在单头自注意力机制上考虑.
$Q,K,V$ 都是 $N\times D$ 矩阵, $Q{K}^T$ 的复杂度为 $N^{2}D$. 令 A:=softmax($Q{K}^T$). $AV$ 的复杂度为 $N^{2}D$. 所以 注意力机制的复杂度为 $Q(N^2)$. 我们之所以关注 N 是因为这关系到输入词汇的长度.

如果换一种想法 $e^{Q{K}^T}=\varphi (Q)\varphi (K{)}^T$, 其中 $\varphi :{\mathbb{R}}^D\to {\mathbb{R}}^D$, $\varphi (Q):=\left(\begin{array}{c}\varphi (q_1)\\ ⋮\\ \varphi (q_N)\end{array}\right)$, 即 逐行向量映射.
对 $\varphi (Q)\varphi (K{)}^T$ 正则化
$$a_{i,j}=\frac{\varphi (q_i)\varphi (k_j{)}^T}{{\sum }_l\varphi (q_i)\varphi (k_l{)}^T}$$
于是 $AV$ 的 第 i 行 为 z i : = ∑ j a i , j v j z_i:=\sum_j a_{i,j}v_j z