RoPE和大模型外推

绝对位置编码

Bert、ALBert等模型使用
绝对位置编码每个位置训练一个embedding向量，尺寸为max_position_embeddings和hidden_size

#初始化
self.position_embeddings = nn.Embedding(config.max_position_embeddings, config.hidden_size)
# 计算位置嵌入
position_embeddings = self.position_embeddings(position_ids)
embeddings += position_embeddings

优势：不考虑外推的情况下，效果较好。
缺点：不具备外推性，max_position_embeddings在pretrain的时候就固定了。

正旋位置编码

基于Sinusoidal的位置编码由transform文章提出，公式如下
$$\begin{array}{l}P{E}_{(pos,2i)}=\sin \left(pos/bas{e}^{2i/d}\right)\\ P{E}_{(pos,2i+1)}=\cos \left(pos/bas{e}^{2i/d}\right)\end{array}$$
POS是位置索引，i 是隐向量维度索引。一般base=10000，随着base的变大，周期会明显变长。

优势：

1、 具有相对位置表达能力：Sinusoidal可以学习到相对位置，对于固定位置距离的k，PE(i+k)可以表示成PE(i)的线性函数。
$$\begin{array}{l}\begin{array}{l}PE(t,2i)=\sin \left(t\ast w_{2i}\right)\\ PE(t,2i+1)=\cos \left(t\ast w_{2i}\right)\\ w_{2i}=1/10000^{2i/d}\end{array}\\ \begin{array}{rl}PE(t+k,2i)& =\sin \left(t\ast w_{2i}+k\ast w_{2i}\right)\\ & =\sin \left(t\ast w_{2i}\right)\cos \left(k\ast w_{2i}\right)+\cos \left(t\ast w_{2i}\right)\sin \left(k\ast w_{2i}\right)\\ & =PE(t,2i)PE(k,2i+1)+PE(t,2i+1)PE(k,2i)\\ & =PE(t,2i)u+PE(t,2i+1)v\end{array}\\ \begin{array}{rl}PE(t+k,2i+1)& =\cos \left(t\ast w_{2i}+k\ast w_{2i}\right)\\ & =\cos \left(t\ast w_{2i}\right)\cos \left(k\ast w_{2i}\right)-\sin \left(t\ast w_{2i}\right)\sin \left(k\ast w_{2i}\right)\\ & =PE(t,2i+1)PE(k,2i+1)-PE(t,2i)PE(k,2i)\\ & =PE(t,2i+1)u-PE(t,2i)v\end{array}\end{array}$$
2、两个位置向量的内积只和相对位置 k 有关。
$$\begin{array}{rl}PE(t)PE(t+k)& =\sum _{i=0}^{d/2-1}PE(t,2i)PE(t+k,2i)+\sum _{i=0}^{d/2-1}PE(t,2i+1)PE(t+k,2i+1)\\ & =\sum _{i=0}^{d/2-1}\sin \left(t\ast w_{2i}\right)\sin \left[(t+k)\ast w_{2i}\right]+\sum _{i=0}^{d/2-1}\cos \left(t\ast w_{2i}\right)\cos \left[(t+k)\ast w_{2i}\right]\\ & =\sum _{i=0}^{d/2-1}\cos \left(k\ast w_{2i}\right)\end{array}$$
3、随着k的增加，内积的结果会直接减少，即会存在远程衰减。

缺点：

但是实际的Attention计算中还需要与attention的权重W相乘。考虑W矩阵后，内积不再只和相对距离k相关了。

旋转位置编码（RoPE）

旋转位置编码可以有效解决Sinusoidal的位置编码内积和相对位置的关系，其Q和K的内积只和相对位置有关。

基础公式

三角函数和差公式：

$$\begin{array}{l}sin(A+B)=sinAcosB+cosAsinB\\ sin(A-B)=sinAcosB-sinBcosA\\ cos(A+B)=cosAcosB-sinAsinB\\ cos(A-B)=cosAcosB+sinAsinB\\ tan(A+B)=(tanA+tanB)/(1-tanAtanB)\\ tan(A-B)=(tanA-tanB)/(1+tanAtanB)\\ cot(A+B)=(cotAcotB-1)/(cotB+cotA)\\ cot(A-B)=(cotAcotB+1)/(cotB-cotA)\end{array}$$

欧拉公式

$$e^{ix}=\cos x+i\sin x$$

共轭复数计算

$$\begin{array}{l}\overline{\alpha +\beta }=\overline{\alpha }+\overline{\beta }\\ \overline{\alpha \times \beta }=\overline{\alpha }\times \overline{\beta }\end{array}$$

旋转推导

希望找到一种变换使得以下条件成立
$$<f_q\left({\mathbf{q}}_m,m\right),f_k\left({\mathbf{k}}_n,n\right)>=g\left({\mathbf{q}}_m,{\mathbf{k}}_n,m-n\right)$$
其中$x_m$是第m位置的隐向量。即QK向量经过某种变换后，其新生成向量的内积只和QK原始向量以及m-n相关。
以下给出旋转位置编码的二维表达形式
$$\begin{array}{l}{f}_q\left({\mathbf{q}}_m,m\right)={\mathbf{q}}_m{e}^{im\theta }\\ f_k\left({\mathbf{k}}_n,n\right)={\mathbf{k}}_n{e}^{in\theta }\\ \begin{array}{rl}g\left({\mathbf{q}}_m,{\mathbf{k}}_n,m-n\right)& =\mathrm{Re}\left[f_q\left({\mathbf{q}}_m,m\right)\times \overline{f_k\left({\mathbf{k}}_n,n\right)}\right]\\ & =\mathrm{Re}\left[{\mathbf{q}}_m{e}^{im\theta }\times \overline{{\mathbf{k}}_n}\overline{e^{in\theta }}\right]\\ & =\mathrm{Re}\left[{\mathbf{q}}_m{e}^{im\theta }{e}^{i-n\theta }\overline{{\mathbf{k}}_n}\right]\\ & =\mathrm{Re}\left[{\mathbf{q}}_m{e}^{i(m-n)\theta }\overline{{\mathbf{k}}_n}\right]\end{array}\end{array}$$
以下给出矩阵表达形式推导，$q_m$只有2个元素，表示为复数形式为$(q_1+i{q}_2)$
$$\begin{array}{l}(q_1+i{q}_2)e^{im\theta }=(q_1\cos m\theta -q_2\sin m\theta )+i(q_1\sin m\theta +q_2\cos m\theta )\\ (k_1+i{k}_2)e^{im\theta }=(k_1\cos m\theta -k_2\sin m\theta )+i(k_1\sin m\theta +k_2\cos m\theta )\end{array}$$
Re ⁡ { [ ( q 1 + i q 2 ) e i m θ ] × [ ( k 1 + i k 2 ) e i n θ ] ‾ } = Re ⁡ { [ ( q 1 cos ⁡ m θ − q 2 sin ⁡ m θ ) + i ( q 1 sin ⁡ m θ + q 2 cos ⁡ m θ ) ] × [ ( k 1 cos ⁡ n θ − k 2 sin ⁡ n θ ) − i ( k 1 sin ⁡ n θ + k 2 cos ⁡ n θ ) ] } = [ ( q 1 cos ⁡ m θ − q 2 sin ⁡ m θ ) × ( k 1 cos ⁡ n θ − k 2 sin ⁡ n θ ) ] + [ ( q 1 sin ⁡ m θ + q 2 cos ⁡ m θ ) × ( k 1 sin ⁡ n θ + k 2 cos ⁡ n θ ) ] = q 1 k 1 ( cos ⁡ m θ cos ⁡ n θ + sin ⁡ m θ sin ⁡ n θ ) + q 1 k 2 ( − cos ⁡ m θ sin ⁡ n θ + cos ⁡ m θ sin ⁡ n θ ) + q 2 k 1 ( cos ⁡ m θ sin ⁡ n θ − sin ⁡ m θ cos ⁡ n θ ) + q 2 k 2 ( sin ⁡ m θ sin ⁡ n θ + cos ⁡ m θ cos ⁡ n θ ) = q 1 k 1 cos ⁡ ( m − n ) θ + q 1 k 2 sin ⁡ ( m − n ) θ + q 2 k 1 sin ⁡ ( m − n ) θ + q 2 k 2 cos ⁡ ( m − n ) θ \begin{aligned} &\operatorname{Re}\left \{ \left [({q}_{1}+i {q}_{2}) e^{i m \theta} \right ] \times \overline{\left [ ({k}_{1}+i {k}_{2}) e^{i n \theta} \right ]} \right \} \\ & = \operatorname{Re} \left \{ \left [ ({q}_{1} \cos m \theta- {q}_{2} \sin m \theta)+i({q}_{1} \sin m \theta+ {q}_{2} \cos m \theta) \right ] \times \left [ ({k}_{1} \cos n \theta- {k}_{2} \sin n \theta)-i({k}_{1} \sin n \theta+ {k}_{2} \cos n \theta) \right ] \right \}\\ & = \left [ \left ( {q}_{1} \cos m \theta- {q}_{2} \sin m \theta \right ) \times \left ( {k}_{1} \cos n \theta- {k}_{2} \sin n \theta \right ) \right ] + \left [ \left ( {q}_{1} \sin m \theta+ {q}_{2} \cos m \theta \right ) \times \left ( {k}_{1} \sin n \theta+ {k}_{2} \cos n \theta \right ) \right ]\\ & = {q}_{1}{k}_{1}\left ( \cos m \theta \cos n \theta + \sin m \theta \sin n \theta \right ) + \\ & \quad {q}_{1}{k}_{2}\left ( - \cos m \theta \sin n \theta + \cos m \theta \sin n \theta \right ) + \\ & \quad {q}_{2}{k}_{1}\left ( \cos m \theta \sin n \theta - \sin m \theta \cos n \theta \right ) + \\ & \quad {q}_{2}{k}_{2}\left ( \sin m \theta \sin n \theta + \cos m \theta \cos n \theta \right ) \\ & = {q}_{1}{k}_{1} \cos\left ( m-n \right ) \theta + {q}_{1}{k}_{2} \sin\left ( m-n \right ) \theta + {q}_{2}{k}_{1} \sin \left ( m-n \right ) \theta +{q}_{2}{k}_{2} \cos\left ( m-n \right ) \theta \end{aligned} ​Re{[(q1​+iq2​)eimθ]×[(k1​+ik2​)einθ]​}=Re{[(q1​cosmθ−q2​sinmθ)+i(q1​sinmθ+q2​cosmθ)]×[(k1​cosnθ−k2​sinnθ)−i(k1​sinnθ+k2​cosnθ)]}=[(q1​cosmθ−q2​sinmθ)×(k1​cosnθ−k2​sinnθ)]+[(q1​sinmθ+q2​cosmθ)×(k1​sinnθ+k2​cosnθ)]=q1​k1​(cosmθcosnθ+sinmθsinnθ)+q1​k2​(−cosmθsinnθ+cosmθsinnθ)+q2​k1​(cosmθsinnθ−sinmθcosnθ)+q2​k2​(sinmθsinnθ+cosmθcosnθ)=q1​k1​cos(m−n)θ+q1​k2​sin(m−n)θ+q2​k1​sin(m−n)θ+q2​k2​cos(m−n)θ​
扩展到多维度情况：
$$\left[\begin{array}{ccccccc}\cos m{\theta }_0& -\sin m{\theta }_0& 0& 0& \cdots & 0& 0\\ \sin m{\theta }_0& \cos m{\theta }_0& 0& 0& \cdots & 0& 0\\ 0& 0& \cos m{\theta }_1& -\sin m{\theta }_1& \cdots & 0& 0\\ 0& 0& \sin m{\theta }_1& \cos m{\theta }_1& \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& 0& \cdots & \cos m{\theta }_{d/2-1}& -\sin m{\theta }_{d/2-1}\\ 0& 0& 0& 0& \cdots & \sin m{\theta }_{d/2-1}& \cos m{\theta }_{d/2-1}\end{array}\right]\left[\begin{array}{c}{q}_0\\ q_1\\ q_2\\ q_3\\ ⋮\\ q_{d-2}\\ q_{d-1}\end{array}\right]$$
考虑到矩阵稀疏性：
$$\left[\begin{array}{c}{q}_0\\ q_1\\ q_2\\ q_3\\ ⋮\\ q_{d-2}\\ q_{d-1}\end{array}\right]\otimes \left[\begin{array}{c}\cos m{\theta }_0\\ \cos m{\theta }_0\\ \cos m{\theta }_1\\ \cos m{\theta }_1\\ ⋮\\ \cos m{\theta }_{d/2-1}\\ \cos m{\theta }_{d/2-1}\end{array}\right]+\left[\begin{array}{c}-q_1\\ q_0\\ -q_3\\ q_2\\ ⋮\\ -q_{d-1}\\ q_{d-2}\end{array}\right]\otimes \left[\begin{array}{c}\sin m{\theta }_0\\ \sin m{\theta }_0\\ \sin m{\theta }_1\\ \sin m{\theta }_1\\ ⋮\\ \sin m{\theta }_{d/2-1}\\ \sin m{\theta }_{d/2-1}\end{array}\right]$$
对于 token 序列中的每个词嵌入向量，首先计算其对应的 query 和 key 向量，然后对每个 token 位置都计算对应的旋转位置编码，接着对每个 token 位置的 query 和 key 向量的元素按照两两一组应用旋转变换，最后再计算 query 和 key 之间的内积得到 self-attention 的计算结果。
此处代码详解见：Meta最新模型LLaMA细节与代码详解
随着相对距离的变大，内积结果有衰减趋势的出现。
$${\theta }_i=10000^{-2i/d}$$

NTK(待续)