自注意力机制中的相对位置表示

Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention with Relative Position Representations. In Proceedings of HLT-NAACL. New Orleans, Louisiana, 464–468. $\text{https://doi.org/10.18653/v1/N18-2074}$
Transformer 的输入是 文字嵌入 和位置嵌入的矩阵和. 第 i 个文字的输入为 $x_i:=x_i+e_i$.
如果单独考虑位置信息, 在初始 Q,K,V 中 不考虑 位置信息. 在注意力机制中 所有的运算都和位置有关系. 我们注意到 位置信息主要是在 点积和 输出投影 $z_i:={\sum }_k{\hat{a}}_{i,k}{v}_k$ 中起作用.
我们假定 第 i 个位置受第 j 个位置的影响为 $a_{i,j}\in {\mathbb{R}}^d$.
比较明显的是 $z_i={\sum }_k{\hat{a}}_{i,k}(v_k+a_{i,k})$.

在点积中 $(q_i^{\prime }+q_i^{\prime \prime })(k_j^{\prime }+k_j^{\prime \prime }{)}^T:=(x_i+e_i)W^Q((x_j+e_j)W^K{)}^T=q_i^{\prime }{k}_j^{\prime }+q_i^{\prime \prime }(k_j^{\prime }+k_j^{\prime \prime }{)}^T+q_i^{\prime }{k}_j^{\prime \prime }$.
观察上式, 第一项与位置无关, 后两项与位置相关. 考虑做一点改动, 不去考虑 Q 的位置信息, 只考虑 K 的位置信息. 修改后的公式变为
$q_i^{\prime }(k_j^{\prime }+a_{i,j}{)}^T$.
出于效果上的考虑, 这里的 $a_{i,j}$ 和前面的 $a_{i,j}$ 不能等同. 我们用 所在的环境将之分别记作 $a_{i,j}^K$, $a_{i,j}^V$.

位置相距过远, 其干扰性可以忽略, 我们考虑使用阶段距离 k. $a_{i,j}$ 超出部分 用 $a_{i,i+k}$ 或 $a_{i,i-k}$ 替代. 如是 总共有 $2k+1$ 个向量需要学习.

$$\left(\begin{array}{c}⋮\\ x_{i-k}\\ ⋮\\ x_i\\ ⋮\\ x_j\\ ⋮\\ x_{i+k}\\ ⋮\end{array}\right)$$