Transformer 位置编码

绝对 & 相对位置编码

绝对位置编码

• 一般来说，绝对位置编码会加到输入中：在输入的第 $k$ 个向量 $x_k$ 中加入位置向量 $p_k$ 变为 $x_k+p_k$，其中 $p_k$ 只依赖于位置编号 $k$

---

• 训练式 (BERT、GPT). 直接将位置编码当作可训练参数，比如最大长度为 512，编码维度为 768，那么就初始化一个 $512\times 768$ 的矩阵作为位置向量，让它随着训练过程更新；缺点是没有外推性，即如果预训练最大长度为 512 的话，那么最多就只能处理长度为 512 的句子
• 三角式 (Sinusoidal 位置编码).
  $$\{\begin{array}{rl}& {\mathbf{p}}_{k,2i}=\sin (k/10000^{2i/d})\\ & {\mathbf{p}}_{k,2i+1}=\cos (k/10000^{2i/d})\end{array}$$其中 $p_{k,2i},p_{k,2i+1}$ 分别是位置 $k$ 的编码向量的第 $2i,2i+1$ 个分量，$d$ 是位置向量的维度。很明显，三角函数式位置编码的特点是有显式的生成规律，因此可以期望于它有一定的外推性。另外一个使用它的理由是：由于 $\sin (\alpha +\beta )=\sin \alpha \cos \beta +\cos \alpha \sin \beta$ 以及 $\cos (\alpha +\beta )=\cos \alpha \cos \beta -\sin \alpha \sin \beta$，这表明位置 $\alpha +\beta$ 的向量可以表示成位置 $\alpha$ 和位置 $\beta$ 的向量组合，这提供了表达相对位置信息的可能性
• 递归式. 在输入后面先接一层 RNN，然后再接 Transformer，那么理论上就不需要加位置编码了。同理，我们也可以用 RNN 模型来学习一种绝对位置编码，比如从一个向量 $p_0$ 出发，通过递归格式 $p_{k+1}=f(p_k)$ 来得到各个位置的编码向量. ICML 2020 的论文《Learning to Encode Position for Transformer with Continuous Dynamical Model》把这个思想推到了极致，它提出了用微分方程（ODE）$d{p}_t/dt=h(p_t,t)$ 的方式来建模位置编码，该方案称之为 FLOATER，函数 $h(p_t,t)$ 可以通过神经网络来建模，因此这种微分方程也称为神经微分方程。理论上来说，基于递归模型的位置编码也具有比较好的外推性，同时它也比三角函数式的位置编码有更好的灵活性（比如容易证明三角函数式的位置编码就是 FLOATER 的某个特解）。但是很明显，递归形式的位置编码牺牲了一定的并行性，可能会带速度瓶颈
• 相乘式. 融合位置编码时使用逐元素乘而非逐元素加

相对位置编码

• 相对位置并没有完整建模每个输入的位置信息，而是在算 Attention 的时候考虑当前位置与被 Attention 的位置的相对距离，由于自然语言一般更依赖于相对位置，所以相对位置编码通常也有着优秀的表现

---

• 经典式. 相对位置编码起源于 Google 的论文《Self-Attention with Relative Position Representations》. 一般认为，相对位置编码是由绝对位置编码启发而来，考虑一般的带绝对位置编码的 Attention：
  $$\{\begin{array}{rl}{\mathbf{q}}_i=& ({\mathbf{x}}_i+{\mathbf{p}}_i){\mathbf{W}}_Q\\ {\mathbf{k}}_j=& ({\mathbf{x}}_j+{\mathbf{p}}_j){\mathbf{W}}_K\\ {\mathbf{v}}_j=& ({\mathbf{x}}_j+{\mathbf{p}}_j){\mathbf{W}}_V\\ a_{i,j}=& softmax\left({\mathbf{q}}_i{\mathbf{k}}_j^{\top }\right)\\ {\mathbf{o}}_i=& \sum _j{a}_{i,j}{\mathbf{v}}_j\end{array}$$我们初步展开 ${\mathbf{q}}_i{\mathbf{k}}_j^{\top }$：
  $${\mathbf{q}}_i{\mathbf{k}}_j^{\top }=\left({\mathbf{x}}_i+{\mathbf{p}}_i\right){\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\left({\mathbf{x}}_j+{\mathbf{p}}_j\right)}^{\top }=\left({\mathbf{x}}_i{\mathbf{W}}_Q+{\mathbf{p}}_i{\mathbf{W}}_Q\right)\left({\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{W}}_K^{\top }{\mathbf{p}}_j^{\top }\right)$$为了引入相对位置信息，Google 把第一项位置信息去掉，第二项位置信息 ${\mathbf{p}}_j{\mathbf{W}}_K$ 改为二元位置向量 ${\mathbf{R}}_{i,j}^K$，变成
  $$a_{i,j}=softmax\left({\mathbf{x}}_i{\mathbf{W}}_Q{\left({\mathbf{x}}_j{\mathbf{W}}_K+{\mathbf{R}}_{i,j}^K\right)}^{\top }\right)$$以及 ${\mathbf{o}}_i=\sum _j{a}_{i,j}{\mathbf{v}}_j=\sum _j{a}_{i,j}({\mathbf{x}}_j{\mathbf{W}}_V+{\mathbf{p}}_j{\mathbf{W}}_V)$ 中的 ${\mathbf{p}}_j{\mathbf{W}}_V$ 换成 ${\mathbf{R}}_{i,j}^V$：
  $${\mathbf{o}}_i=\sum _j{a}_{i,j}\left({\mathbf{x}}_j{\mathbf{W}}_V+{\mathbf{R}}_{i,j}^V\right)$$一般还会对相对位置 $i-j$ 进行截断：
  $$\begin{array}{r}{\mathbf{R}}_{i,j}^K={\mathbf{p}}_K\left[\text{clip}(i-j,p_{\min },p_{\max })\right]\\ {\mathbf{R}}_{i,j}^V={\mathbf{p}}_V\left[\text{clip}(i-j,p_{\min },p_{\max })\right]\end{array}$$这样一来，只需要有限个位置编码，就可以表达出任意长度的相对位置（因为进行了截断），不管 ${\mathbf{p}}_K,{\mathbf{p}}_V$ 是选择可训练式的还是三角函数式的，都可以达到处理任意长度文本的需求
• XLNET 式. 源自 Transformer-XL 的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》. 对上述 ${\mathbf{q}}_i{\mathbf{k}}_j^{\top }$ 完全展开可得：
  $${\mathbf{q}}_i{\mathbf{k}}_j^{\top }={\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{p}}_j^{\top }+{\mathbf{p}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{p}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{p}}_j^{\top }$$Transformer-XL 的做法很简单，直接将 ${\mathbf{p}}_j$ 替换为相对位置向量 ${\mathbf{R}}_{i-j}$，至于两个 ${\mathbf{p}}_i$，则干脆替换为两个可训练的向量 $\mathbf{u},\mathbf{v}$：
  $${\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{R}}_{i-j}^{\top }+\mathbf{u}{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+\mathbf{v}{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{R}}_{i-j}^{\top }$$该编码方式中的 ${\mathbf{R}}_{i-j}$ 没有进行截断，而是直接用了 Sinusoidal 式的生成方案，由于 ${\mathbf{R}}_{i-j}$ 的编码空间与 ${\mathbf{x}}_j$ 不一定相同，所以 ${\mathbf{R}}_{i-j}$ 前面的 ${\mathbf{W}}_K^{\top }$ 换了另一个独立的矩阵 ${\mathbf{W}}_{K,R}^{\top }$，还有 $\mathbf{u}{\mathbf{W}}_Q$、$\mathbf{v}{\mathbf{W}}_Q$ 可以直接合并为单个 $\mathbf{u}$、$\mathbf{v}$，所以最终使用的式子是
  $${\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_{K,R}^{\top }{\mathbf{R}}_{i-j}^{\top }+\mathbf{u}{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+\mathbf{v}{\mathbf{W}}_{K,R}^{\top }{\mathbf{R}}_{i-j}^{\top }$$此外，${\mathbf{v}}_j$ 上的位置偏置就直接去掉了，似乎从这个工作开始，后面的相对位置编码都只加到 Attention 矩阵上去，而不加到 ${\mathbf{v}}_j$ 上去了
• T5 式. 源自 T5 的论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》. 它直接将相对位置编码简化为 (去掉了 ${\mathbf{q}}_i{\mathbf{k}}_j^{\top }$ 展开式中的第 2、3 项，只保留第 4 项并替换为相对位置编码)
  $${\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{\beta }}_{i,j}$$包含同样的思想的还有微软在 ICLR 2021 的论文《Rethinking Positional Encoding in Language Pre-training》中提出的 TUPE 位置编码。比较 “别致” 的是，不同于常规位置编码对将 ${\mathbf{\beta }}_{i,j}$ 视为 $i-j$ 的函数并进行截断的做法，T5 对相对位置进行了一个 “分桶” 处理，即相对位置是 $i-j$ 的位置实际上对应的是 $f(i-j)$ 位置，映射关系如下：
  $$\begin{array}{ccccccccccccccccc}i-j& 0& 1& 2& 3& 4& 5& 6& 7& 8& 9& 10& 11& 12& 13& 14& 15\\ f(i-j)& 0& 1& 2& 3& 4& 5& 6& 7& 8& 8& 8& 8& 9& 9& 9& 9\\ i-j& 16& 17& 18& 19& 20& 21& 22& 23& 24& 25& 26& 27& 28& 29& 30& \cdots \\ f(i-j)& 10& 10& 10& 10& 10& 10& 10& 11& 11& 11& 11& 11& 11& 11& 11& \cdots \end{array}$$这个设计的思路其实也很直观，就是比较邻近的位置（0～7），我们需要比较得精细一些，所以给它们都分配一个独立的位置编码，至于稍远的位置（比如 8～11），我们不用区分得太清楚，所以它们可以共用一个位置编码，距离越远，共用的范围就可以越大，直到达到指定范围再 clip
• DeBERTa 式. 源自 DeBERTa 的论文《DeBERTa: Decoding-enhanced BERT with Disentangled Attention》. DeBERTa 和 T5 刚刚相反，它扔掉了 ${\mathbf{q}}_i{\mathbf{k}}_j^{\top }$ 展开式中的第 4 项，保留第 2、3 项并且替换为相对位置编码
  $${\mathbf{q}}_i{\mathbf{k}}_j^{\top }={\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }+{\mathbf{x}}_i{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{R}}_{i,j}^{\top }+{\mathbf{R}}_{j,i}{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{x}}_j^{\top }$$至于 ${\mathbf{R}}_{i,j}$ 的设计也是像经典式那样进行截断的，没有特别的地方。不过，DeBERTa 比较有意思的地方，是提供了使用相对位置和绝对位置编码的一个新视角，它指出 NLP 的大多数任务可能都只需要相对位置信息，但确实有些场景下绝对位置信息更有帮助，于是它将整个模型分为两部分来理解。以 Base 版的 MLM 预训练模型为例，它一共有 13 层，前 11 层只是用相对位置编码，后面 2 层加入绝对位置信息

旋转式位置编码 (Rotary Position Embedding，RoPE)

• 一般来说，绝对位置编码具有实现简单、计算速度快等优点，而相对位置编码则直接地体现了相对位置信号，跟我们的直观理解吻合，实际性能往往也更好。由此可见，如果可以通过绝对位置编码的方式实现相对位置编码，那么就是 “集各家之所长”、“鱼与熊掌兼得” 了。而 RoPE 配合 Attention 机制就能达到 “绝对位置编码的方式实现相对位置编码” 的设计，具有比较好的外推性

---

• 基本思路. 我们假设通过下述运算来给 $\mathbf{q},\mathbf{k}$ 添加绝对位置信息
  $${\tilde{\mathbf{q}}}_m=\mathbf{f}(\mathbf{q},m),{\tilde{\mathbf{k}}}_n=\mathbf{f}(\mathbf{k},n)$$Attention 的核心运算是内积，所以我们希望的内积的结果带有相对位置信息，因此假设存在恒等关系：
  $$⟨\mathbf{f}(\mathbf{q},m),\mathbf{f}(\mathbf{k},n)⟩=g(\mathbf{q},\mathbf{k},m-n)$$所以我们要求出该恒等式的一个（尽可能简单的）解
• 求解过程. 我们先考虑二维情形，然后借助复数来求解。在复数中有 $⟨\mathbf{q},\mathbf{k}⟩=\text{Re}[\mathbf{q}{\mathbf{k}}^{\ast }]$，$\text{Re}[]$ 代表复数的实部 (这里是把二维向量 $(a,b)$ 看作复数 $a+bi$)，所以我们有
  $$\text{Re}[\mathbf{f}(\mathbf{q},m){\mathbf{f}}^{\ast }(\mathbf{k},n)]=g(\mathbf{q},\mathbf{k},m-n)$$然后我们用复数的指数形式，设
  $$\begin{array}{rl}\mathbf{f}(\mathbf{q},m)=& R_f(\mathbf{q},m)e^{\text{i}{\Theta }_f(\mathbf{q},m)}\\ \mathbf{f}(\mathbf{k},n)=& R_f(\mathbf{k},n)e^{\text{i}{\Theta }_f(\mathbf{k},n)}\\ \mathbf{g}(\mathbf{q},\mathbf{k},m-n)=& R_g(\mathbf{q},\mathbf{k},m-n)e^{\text{i}{\Theta }_g(\mathbf{q},\mathbf{k},m-n)}\end{array}$$那么代入方程后就得到方程组
  $$\begin{array}{rl}{R}_f(\mathbf{q},m)R_f(\mathbf{k},n)=& R_g(\mathbf{q},\mathbf{k},m-n)\\ {\Theta }_f(\mathbf{q},m)-{\Theta }_f(\mathbf{k},n)=& {\Theta }_g(\mathbf{q},\mathbf{k},m-n)\end{array}$$求解过程还需要一些初始条件，显然我们可以合理地设 $R_f(\mathbf{q},0)=\Vert \mathbf{q}\Vert ,R_f(\mathbf{k},0)=\Vert \mathbf{k}\Vert$，${\Theta }_f(\mathbf{q},0)=\Theta (\mathbf{q}),{\Theta }_f(\mathbf{k},0)=\Theta (\mathbf{k})$. 对于第一个方程，代入 $m=n$ 得到
  $$R_g(\mathbf{q},\mathbf{k},0)=R_f(\mathbf{q},0)R_f(\mathbf{k},0)=\Vert \mathbf{q}\Vert \Vert \mathbf{k}\Vert$$所以现在我们可以很简单地设
  $$R_f(\mathbf{q},m)=\Vert \mathbf{q}\Vert ,R_f(\mathbf{k},m)=\Vert \mathbf{k}\Vert$$至于第二个方程，同样代入 $m=n$ 得到
  $${\Theta }_f(\mathbf{q},m)-{\Theta }_f(\mathbf{k},m)={\Theta }_g(\mathbf{q},\mathbf{k},0)={\Theta }_f(\mathbf{q},0)-{\Theta }_f(\mathbf{k},0)=\Theta (\mathbf{q})-\Theta (\mathbf{k})$$根据上式得到 ${\Theta }_f(\mathbf{q},m)-\Theta (\mathbf{q})={\Theta }_f(\mathbf{k},m)-\Theta (\mathbf{k})$，所以 ${\Theta }_f(\mathbf{q},m)-\Theta (\mathbf{q})$ 应该是一个只与 $m$ 相关、跟 $\mathbf{q}$ 无关的函数，记为 $\phi (m)$，即 $${\Theta }_f(\mathbf{q},m)=\Theta (\mathbf{q})+\phi (m)$$接着代入 $n=m-1$，整理得到
  $$\phi (m)-\phi (m-1)={\Theta }_g(\mathbf{q},\mathbf{k},1)+\Theta (\mathbf{k})-\Theta (\mathbf{q})$$即 { φ ( m ) } \{φ(m)\} {φ(m)} 是等差数列，设右端为 $\theta$，那么就解得 $\phi (m)=m\theta$
• 编码形式. 综上，我们得到二维情况下用复数表示的 RoPE：
  $$\mathbf{f}(\mathbf{q},m)=R_f(\mathbf{q},m)e^{\text{i}{\Theta }_f(\mathbf{q},m)}=\Vert q\Vert e^{\text{i}(\Theta (\mathbf{q})+m\theta )}=\mathbf{q}{e}^{\text{i}m\theta }$$根据复数乘法的几何意义，该变换实际上对应着向量的旋转，所以我们称之为 “旋转式位置编码”，它还可以写成矩阵形式：
  $$\mathbf{f}(\mathbf{q},m)=\left(\begin{array}{cc}\cos m\theta & -\sin m\theta \\ \sin m\theta & \cos m\theta \end{array}\right)\left(\begin{array}{c}{q}_0\\ q_1\end{array}\right)$$由于内积满足线性叠加性，因此任意偶数维的 RoPE，我们都可以表示为二维情形的拼接，即
  $$\underset{{\mathcal{R}}_m}{\underbrace{\left(\begin{array}{ccccccc}\cos m{\theta }_0& -\sin m{\theta }_0& 0& 0& \cdots & 0& 0\\ \sin m{\theta }_0& \cos m{\theta }_0& 0& 0& \cdots & 0& 0\\ 0& 0& \cos m{\theta }_1& -\sin m{\theta }_1& \cdots & 0& 0\\ 0& 0& \sin m{\theta }_1& \cos m{\theta }_1& \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& 0& \cdots & \cos m{\theta }_{d/2-1}& -\sin m{\theta }_{d/2-1}\\ 0& 0& 0& 0& \cdots & \sin m{\theta }_{d/2-1}& \cos m{\theta }_{d/2-1}\end{array}\right)}}\left(\begin{array}{c}{q}_0\\ q_1\\ q_2\\ q_3\\ ⋮\\ q_{d-2}\\ q_{d-1}\end{array}\right)$$Attention 计算可以写为
  $$({\mathcal{R}}_m\mathbf{q}{)}^{\top }({\mathcal{R}}_n\mathbf{k})={\mathbf{q}}^{\top }{\mathcal{R}}_m^{\top }{\mathcal{R}}_n\mathbf{k}={\mathbf{q}}^{\top }{\mathcal{R}}_{n-m}\mathbf{k}$$值得指出的是，${\mathcal{R}}_m$ 是一个正交矩阵，它不会改变向量的模长，因此通常来说它不会改变原模型的稳定性。由于 ${\mathcal{R}}_m$ 的稀疏性，所以直接用矩阵乘法来实现会很浪费算力，推荐通过下述方式来实现 RoPE：
  $$\begin{array}{c}\left(\begin{array}{c}{q}_0\\ q_1\\ q_2\\ q_3\\ ⋮\\ q_{d-2}\\ q_{d-1}\end{array}\right)\otimes \left(\begin{array}{c}\cos m{\theta }_0\\ \cos m{\theta }_0\\ \cos m{\theta }_1\\ \cos m{\theta }_1\\ ⋮\\ \cos m{\theta }_{d/2-1}\\ \cos m{\theta }_{d/2-1}\end{array}\right)+\left(\begin{array}{c}-q_1\\ q_0\\ -q_3\\ q_2\\ ⋮\\ -q_{d-1}\\ q_{d-2}\end{array}\right)\otimes \left(\begin{array}{c}\sin m{\theta }_0\\ \sin m{\theta }_0\\ \sin m{\theta }_1\\ \sin m{\theta }_1\\ ⋮\\ \sin m{\theta }_{d/2-1}\\ \sin m{\theta }_{d/2-1}\end{array}\right)\end{array}$$其中 $\otimes$ 是逐位对应相乘。从这个实现也可以看到，RoPE可以视为是乘性位置编码的变体
• 远程衰减. 可以看到，RoPE 形式上和 Sinusoidal 位置编码有点相似，只不过 Sinusoidal 位置编码是加性的，而 RoPE 可以视为乘性的。在 ${\theta }_i$ 的选择上，RoPE 同样沿用了 Sinusoidal 位置编码的方案，即 ${\theta }_i=10000^{-2i/d}$，它可以带来一定的远程衰减性。具体证明如下：将 $\mathbf{q},\mathbf{k}$ 两两分组后，它们加上 RoPE 后的内积可以用复数乘法表示为
  $$\begin{array}{c}({\mathcal{R}}_m\mathbf{q}{)}^{\top }({\mathcal{R}}_n\mathbf{k})=\text{Re}\left[\sum _{i=0}^{d/2-1}{\mathbf{q}}_{[2i:2i+1]}{\mathbf{k}}_{[2i:2i+1]}^{\ast }{e}^{\text{i}(m-n){\theta }_i}\right]\end{array}$$记 $h_i={\mathbf{q}}_{[2i:2i+1]}{\mathbf{k}}_{[2i:2i+1]}^{\ast },S_j=\sum _{i=0}^{j-1}{e}^{\text{i}(m-n){\theta }_i}$，并约定 $h_{d/2}=0,S_0=0$，那么由 Abel 变换（分部求和法）可以得到：
  $$\sum _{i=0}^{d/2-1}{\mathbf{q}}_{[2i:2i+1]}{\mathbf{k}}_{[2i:2i+1]}^{\ast }{e}^{\text{i}(m-n){\theta }_i}=\sum _{i=0}^{d/2-1}{h}_i(S_{i+1}-S_i)=-\sum _{i=0}^{d/2-1}{S}_{i+1}(h_{i+1}-h_i)$$所以
  $$\begin{array}{rl}\left|\sum _{i=0}^{d/2-1}{\mathbf{q}}_{[2i:2i+1]}{\mathbf{k}}_{[2i:2i+1]}^{\ast }{e}^{\text{i}(m-n){\theta }_i}\right|=& \left|\sum _{i=0}^{d/2-1}{S}_{i+1}(h_{i+1}-h_i)\right|\\ \le & \sum _{i=0}^{d/2-1}|S_{i+1}||h_{i+1}-h_i|\\ \le & \left(\underset{i}{\max }|h_{i+1}-h_i|\right)\sum _{i=0}^{d/2-1}|S_{i+1}|\end{array}$$因此我们可以考察 $\frac{1}{d/2}\sum _{i=1}^{d/2}|S_i|$ 随着相对距离的变化情况来作为衰减性的体现
  

References

• 苏剑林. (Feb. 03, 2021). 《让研究人员绞尽脑汁的Transformer位置编码 》[Blog post]. Retrieved from https://kexue.fm/archives/8130
• 苏剑林. (Mar. 23, 2021). 《Transformer升级之路：2、博采众长的旋转式位置编码 》[Blog post]. Retrieved from https://kexue.fm/archives/8265