【论文精读】RoFormer

摘要

       本文提出旋转位置嵌入(RoPE)，将位置嵌入信息利用到plm的学习过程中。RoPE用旋转矩阵实现绝对位置嵌入，同时在自注意力公式中融入了显式的相对位置嵌入。RoPE具有序列长度的灵活性、随着相对距离的增加而衰减的token间依赖性，以及为线性自注意力配备相对位置编码的能力。具体改进有：

• RoPE将位置信息利用到plm的学习过程中。通过将上下文表示与具有明确理论解释的旋转矩阵相乘来编码相对位置
• RoPE随着词嵌入相对距离的增加而产生相关性衰减
• RoPE兼容线性自注意力

框架

自注意力计算过程

       给定一个长度为$N$的输入序列：
S N = { w i } i = 1 N S_N=\{w_i \}^N_{i=1} SN​={wi​}i=1N​

       $w_i$表示输入序列第$i$个token，$S_N$对应的词嵌入向量表示为：
E N = { x i } i = 1 N E_N=\{x_i \}^N_{i=1} EN​={xi​}i=1N​

       $x_i\in {\mathbb{R}}^d$表示第$i$个token对应的不含位置嵌入的词嵌入向量。自注意力计算之前首先将位置嵌入信息加入词嵌入中并计算query、key、value向量，如下：
$$\begin{gathered} q_m=f_q(x_m,m) \\ {k}_n=f_k(x_n,n) \\ {v}_n=f_v(x_n,n) \end{gathered}$$

       其中$q_m$表示第$m$个token对应的词嵌入向量$x_m$集成位置嵌入$m$后的query向量，$k_n$、$v_n$为类似的key、value向量。自注意力为使用query和key计算注意力权重，同时计算输出为value表示的加权和，即为：
$$\begin{gathered} a_{m,n}=\frac{exp(\frac{q_m^T{K}_n}{\sqrt{d}})}{{\sum }_{j=1}^{N}exp(\frac{q_m^T{K}_n}{\sqrt{d}})} \\ {o}_m=\sum _{n=1}^N{a}_{m,n}{v}_n \end{gathered}$$

       本文目标为基于transformer的位置嵌入编码方法着重于构造一个合适的 f { q , k , v } f\{ q,k,v\} f{q,k,v}函数。

绝对位置嵌入

       常规的位置编码是在计算query，key和value向量之前，计算一个位置编码向量$p_i\in {\mathbb{R}}^d$加到词嵌入$x_i$上，再乘以对应的变换矩阵 W { q , k , v } W\{q,k,v\} W{q,k,v}，即:
f t : t ∈ { q , k , v } ( x i , i ) : = W t : t ∈ { q , k , v } ( x i + p i ) f_{t:t\in\{q,k,v\}}(x_i,i):=W_{t:t\in\{q,k,v\}}(x_i+p_i) ft:t∈{q,k,v}​(xi​,i):=Wt:t∈{q,k,v}​(xi​+pi​)

       $p_i$取决于token$x_i$的位置，典型的计算方法为：
$$\begin{gathered} p_{i,2t}=sin(\frac{i}{10000^{\frac{2t}{d}}}) \\ {p}_{i,2t+1}=cos(\frac{i}{10000^{\frac{2t}{d}}}) \end{gathered}$$

       其中$p_{i,2t}$是位置编码向量$p_i$的偶数维度的元素，$p_{i,2t+1}$是$p_i$的奇数维度的元素。

相对位置嵌入

       典型的相对位置编码为：
$$\begin{gathered} f_q(x_m):=W_q{x}_m \\ {f}_k(x_n,n):=W_k(x_n+{\tilde{p}}_r^k) \\ {f}_v(x_n,n):=W_v(x_n+{\tilde{p}}_r^v) \end{gathered}$$

       其中${\tilde{p}}_r^k，{\tilde{p}}_r^v\in {\mathbb{R}}^d$为可学习的相对位置嵌入参数，$r=clip(m-n,r_{min},r_{max})$表示位置$m$、$n$的相对距离。该方法假设，相对位置在超过一定距离后会失效，因此限制了相对距离的取值范围。类似方法诸多，略。

RoPE目标

       本文所提出的方法旨在通过绝对位置编码的方式实现相对位置编码，其在实践上的实用之处，比如可以拓展到线性Attention等。为达到这个目的，假设通过下述运算来给$q,k$添加绝对位置信息：
$${\tilde{q}}_m=f(q,m)，{\tilde{k}}_n=f(k,n)$$

       即分别为$q,k$设计操作$f(\cdot ,m),f(\cdot ,n)$，使得经过该操作后，${\tilde{q}}_m,{\tilde{k}}_n$就带有了位置 $m,n$的绝对位置信息。而$q_m^T{k}_n$可以在不同位置的token之间进行知识传递，为了纳入相对位置信息，假设$q_m$和$k_n$的内积由函数$g$制定，该函数将单词嵌入$x_m$, $x_n$和它们的相对位置$m-n$作为输入变量，其内积可编码相对位置信息。即：
$$<f_q(x_m,m),f_k(x_n,n)>=g(x_m,x_n,m-n)$$

       故目标为找到一种等价的编码机制$f_q(x_m,m)$和$f_k(x_n,n)$，以符合上述关系。

RoPE构建

       考虑$d=2$的二维情况，给定query和key两个词嵌入向量$x_q,x_k$及其对应位置$m,n$。对应的位置编码为：
$$\begin{gathered} q_m=f_q(x_q,m) \\ {k}_n=f_k(x_k,n) \end{gathered}$$

       假设存在函数$g$，定义了 f { q , k } f\{q,k\} f{q,k}之间的内积，则有：
$$q_m^T{k}_n=<f_q(x_q,m),f_k(x_k,n)>=g(x_q,x_k,m-n)$$

       有复数公式$<q,k>=Re[q{k}^{\ast }]$，则有$g(x_q,x_k,m-n)=Re[f(x_q,m)f^{\ast }(x_k,n)]$，简单起见，令$g(x_q,x_k,m-n)=f(x_q,m)f^{\ast }(x_k,n)$，则$q_m,k_n,q_m^T{k}_n$的指数形式可分解为：
$$\begin{gathered} f_q(x_q,m)=R_q(x_q,m)e^{i{\Theta }_q(x_q,m)} \\ {f}_k(x_k,n)=R_k(x_k,n)e^{i{\Theta }_k(x_k,n)} \\ g(x_q,x_k,m-n)=R_g(x_q,x_k,m-n)e^{i{\Theta }_g(x_q,x_k,m-n)} \end{gathered}$$

       则有：
$$\begin{gathered} R_q(x_q,m)R_k(x_k,n)=R_g(x_q,x_k,m-n) \\ {\Theta }_q(x_q,m)-{\Theta }_k(x_k,n)={\Theta }_g(x_q,x_k,m-n) \end{gathered}$$

       令空位置嵌入编码的向量为：
$$q=f_q(x_q,0),k=f_k(x_k,0)$$

       其不依赖于$m$或$n$，故认为有：
$$\begin{gathered} R_q(x_q,m)=\Vert q\Vert ，R_k(x_k,n)=\Vert k\Vert \\ {\Theta }_q(x_q,0)={\theta }_q，{\Theta }_k(x_k,0)={\theta }_k \end{gathered}$$

       则对应空位置嵌入有：
$$\begin{gathered} q=R_q(x_q,0)e^{i{\Theta }_q(x_q,0)}=\Vert q\Vert e^{i{\theta }_q} \\ k=R_k(x_k,0)e^{i{\Theta }_k(x_k,0)}=\Vert k\Vert e^{i{\theta }_k} \end{gathered}$$

       若$n=m$，则有：
$$\begin{gathered} R_q(x_q,m)R_k(x_k,m)=R_g(x_q,x_k,0)=R_q(x_q,0)R_k(x_k,0)=\Vert q\Vert \Vert k\Vert \\ {\Theta }_q(x_q,m)-{\Theta }_k(x_k,m)={\Theta }_g(x_q,x_k,0)=\Vert {\Theta }_q(x_q,0)-{\Theta }_k(x_k,0)\Vert =\Vert {\theta }_q-{\theta }_k\Vert \end{gathered}$$

       进一步推导有：
$${\Theta }_q(x_q,m)-{\theta }_q={\Theta }_k(x_k,m)-{\theta }_k$$

       得知${\Theta }_q(x_q,m)-{\theta }_q$、${\Theta }_k(x_k,m)-{\theta }_k$只与$m$相关，于$q$、$k$无关，则定义：
ϕ ( m ) = Θ f ( x { q , k } , m ) − θ { q , k } \phi(m)=\Theta_f(x_{\{q,k\}},m)-\theta_{\{q,k\}} ϕ(m)=Θf​(x{q,k}​,m)−θ{q,k}​

       若$n=m+1$，则有：
$$\begin{gathered} \varphi (m+1)-\varphi (m) \\ =({\Theta }_q(x_q,m+1)-{\theta }_q)-({\Theta }_k(x_k,m)-{\theta }_k) \\ ={\Theta }_g(x_q,x_k,1)+{\theta }_k-{\theta }_q \end{gathered}$$

       得知$\varphi (m+1)-\varphi (m)$是一个与$m$无关的常数，故$\varphi (m)$使用连续整数输入可成为一个等差数列，则得到
$$\begin{gathered} \varphi (m)=m({\Theta }_g(x_q,x_k,1)+{\theta }_k-{\theta }_q)+\gamma \\ =m\theta +\gamma \end{gathered}$$

       其中$\theta ,\gamma \in \mathbb{R}$为常量，$\theta$非零。整合上述推导，可得到解决方案：
$$\begin{gathered} q_m=f_q(x_q,m)=R_q(x_q,m)e^{i{\Theta }_q(x_q,m)}=\Vert q\Vert e^{i({\theta }_q+\varphi (m))}=q{e}^{i\varphi (m)}=q{e}^{i(m\theta +\gamma )} \\ {k}_n=f_k(x_k,n)=R_k(x_k,n)e^{i{\Theta }_k(x_k,n)}=\Vert k\Vert e^{i({\theta }_k+\varphi (n))}=k{e}^{i\varphi (n)}=k{e}^{i(n\theta +\gamma )} \end{gathered}$$

       整合经典绝对位置嵌入函数，令：
$$q=W_q{x}_m，k=W_k{x}_n$$

       令$\gamma =0$，则最终算法为：
$$\begin{gathered} q_m=(W_q{x}_m)e^{im\theta } \\ {k}_n=(W_k{x}_n)e^{in\theta } \end{gathered}$$

       因为：
$$e^{i(m)\theta }=cos((m)\theta )+isin((m)\theta )$$

       则算法转换为矩阵形式有：
f { q , k } ( x m , m ) = ( c o s   m θ − s i n   m θ s i n   m θ c o s   m θ ) ( W { q , k } ( 11 ) W { q , k } ( 12 ) W { q , k } ( 21 ) W { q , k } ( 22 ) ) ( x m ( 1 ) x m ( 2 ) ) f_{\{q,k\}}(x_m,m)=\begin{pmatrix} cos \ m\theta & -sin \ m\theta \\ sin \ m\theta & cos \ m\theta \end{pmatrix} \begin{pmatrix} W^{(11)}_{\{q,k\}} & W^{(12)}_{\{q,k\}} \\ W^{(21)}_{\{q,k\}} & W^{(22)}_{\{q,k\}} \end{pmatrix} \begin{pmatrix} x^{(1)}_{m} \\ x^{(2)}_{m} \end{pmatrix} f{q,k}​(xm​,m)=(cos mθsin mθ​−sin mθcos mθ​)(W{q,k}(11)​W{q,k}(21)​​W{q,k}(12)​W{q,k}(22)​​)(xm(1)​xm(2)​​)

       即算法的本质为将仿射变换的词嵌入向量旋转其位 置索引的角度倍数，从而导致词嵌入向量间的相对位置，故称之为旋转式位置编码。如下图所示：

证明

       根据上述推导，算法需满足：
$$<f_q(x_q,m),f_k(x_k,n)>=g(x_q,x_k,m-n)$$

       根据上述推导存在：
$$g(x_q,x_k,m-n)=Re[(W_q{x}_m)(W_k{x}_n{)}^{\ast }{e}^{i(m-n)\theta }]$$

       其中$Re[\cdot ]$表示复数实部，$(W_k{x}_n{)}^{\ast }$为$(W_k{x}_n)$的共轭复数。又因为有：
$$z=a+ib，z^{\ast }=a-ib$$

       故有：
$$\begin{gathered} W_q{x}_m=q=q^{(1)}+i{q}^{(2)} \\ (W_k{x}_n{)}^{\ast }=k^{\ast }=k^{(1)}-i{k}^{(2)} \\ {e}^{i(m-n)\theta }=cos((m-n)\theta )+isin((m-n)\theta ) \end{gathered}$$

       则：
$$\begin{gathered} g(x_q,x_k,m-n)=Re[(q^{(1)}+i{q}^{(2)})(k^{(1)}-i{k}^{(2)})(cos((m-n)\theta )+isin((m-n)\theta ))] \\ =Re[((q^{(1)}{k}^{(1)}+q^{(2)}{k}^{(2)})+i(q^{(2)}{k}^{(1)}-q^{(1)}{k}^{(2)}))(cos((m-n)\theta )+isin((m-n)\theta ))] \\ =(q^{(1)}{k}^{(1)}+q^{(2)}{k}^{(2)})cos((m-n)\theta )-(q^{(2)}{k}^{(1)}-q^{(1)}{k}^{(2)})sin((m-n)\theta )) \end{gathered}$$

       对于$<f_q(x_q,m),f_k(x_k,n)>$，则有：
$$\begin{gathered} f_q(x_q,m)=[q^{(1)}cos(m\theta )-q^{(2)}sin(m\theta ),q^{(2)}cos(m\theta )+q^{(1)}sin(m\theta )] \\ {f}_k(x_k,n)=[k^{(1)}cos(n\theta )-k^{(2)}sin(n\theta ),k^{(2)}cos(n\theta )+k^{(1)}sin(n\theta )] \\ <f_q(x_q,m),f_k(x_k,n)>=(q^{(1)}cos(m\theta )-q^{(2)}sin(m\theta ))(k^{(1)}cos(n\theta )-k^{(2)}sin(n\theta )) \\ +(q^{(2)}cos(m\theta )+q^{(1)}sin(m\theta ))(k^{(2)}cos(n\theta )+k^{(1)}sin(n\theta )) \\ =q^{(1)}cos(m\theta )k^{(1)}cos(n\theta )-q^{(1)}cos(m\theta )k^{(2)}sin(n\theta ) \\ -q^{(2)}sin(m\theta )k^{(1)}cos(n\theta )+q^{(2)}sin(m\theta )k^{(2)}sin(n\theta ) \\ {q}^{(2)}cos(m\theta )k^{(2)}cos(n\theta )+q^{(2)}cos(m\theta )k^{(1)}sin(n\theta ) \\ {q}^{(1)}sin(m\theta )k^{(2)}cos(n\theta )+q^{(1)}sin(m\theta )k^{(1)}sin(n\theta ) \\ =q^{(1)}{k}^{(1)}(cos(m\theta )cos(n\theta )+sin(m\theta )sin(n\theta )) \\ +q^{(1)}{k}^{(2)}(-cos(m\theta )sin(n\theta )+sin(m\theta )cos(n\theta )) \\ +q^{(2)}{k}^{(1)}(-sin(m\theta )cos(n\theta )+cos(m\theta )sin(n\theta )) \\ +q^{(2)}{k}^{(2)}(sin(m\theta )sin(n\theta )+cos(m\theta )cos(n\theta )) \end{gathered}$$

       根据三角函数：
$$\begin{gathered} sin(a-b)=sinacosb-cosasinb \\ cos(a-b)=cosacosb+sinasinb \end{gathered}$$

       则有：
$$\begin{gathered} <f_q(x_q,m),f_k(x_k,n)> \\ =q^{(1)}{k}^{(1)}cos((m-n)\theta )+q^{(1)}{k}^{(2)}sin((m-n)\theta ) \\ -q^{(2)}{k}^{(1)}sin((m-n)\theta )+q^{(2)}{k}^{(2)}cos((m-n)\theta ) \\ =(q^{(1)}{k}^{(1)}+q^{(2)}{k}^{(2)})cos((m-n)\theta )-(q^{(2)}{k}^{(1)}-q^{(1)}{k}^{(2)})sin((m-n)\theta ) \\ =g(x_q,x_k,m-n) \end{gathered}$$

       故算法$q_m=(W_q{x}_m)e^{im\theta }$，$k_n=(W_k{x}_n)e^{in\theta }$满足$<f_q(x_q,m),f_k(x_k,n)>=g(x_q,x_k,m-n)$限制的条件。

一般形式

       将算法推广到任意$x_i\in {\mathbb{R}}^d$，$d$为偶数，将$d$维空间划分维$d/2$子空间，由于内积满足线性叠加性，因此任意偶数维的RoPE，我们都可以表示为二维情形的拼接，即可转化为：
f { q , k } ( x m , m ) = R Θ , m d W { q , k } x m f_{\{q,k\}}(x_m,m)=R^d_{\Theta,m}W_{\{q,k\}}x_m f{q,k}​(xm​,m)=RΘ,md​W{q,k}​xm​
$$R_{\Theta ,m}^d=\left(\begin{array}{ccccccc}cosm{\theta }_1& -sinm{\theta }_1& 0& 0& \dots & 0& 0\\ sinm{\theta }_1& cosm{\theta }_1& 0& 0& \dots & 0& 0\\ 0& 0& cosm{\theta }_2& -sinm{\theta }_2& \dots & 0& 0\\ 0& 0& sinm{\theta }_2& cosm{\theta }_2& \dots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& 0& \dots & cosm{\theta }_{d/2}& -sinm{\theta }_{d/2}\\ 0& 0& 0& 0& \dots & sinm{\theta }_{d/2}& cosm{\theta }_{d/2}\end{array}\right)$$

       则有：
$$q_m^T{k}_n=(R_{\Theta ,m}^d{W}_q{x}_m{)}^T(R_{\Theta ,n}^d{W}_k{x}_n)=x^T{W}_q{R}_{\Theta ,(m-n)}^d{W}_k{x}_n$$

       即为给位置$m$、$n$的词嵌入向量$x_m$、$x_n$乘以旋转矩阵$R_{\Theta ,m}^d$、$R_{\Theta ,n}^d$得到的自注意力自动包含位置信息。$R_{\Theta }^d$是一个正交矩阵，不会改变向量的模长，因此它不会改变原模型的稳定性。

       由于$R_{\Theta }^d$是个包含大量$0$元素的稀疏矩阵，直接用矩阵乘法来实现会很浪费算力，故可采用如下计算方法加速计算：
$$R_{\Theta ,m}^{d}x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\\ ⋮\\ x_{d-1}\\ x_d\end{array}\right)\otimes \left(\begin{array}{c}cosm{\theta }_1\\ cosm{\theta }_1\\ cosm{\theta }_2\\ cosm{\theta }_2\\ ⋮\\ cosm{\theta }_{d/2}\\ cosm{\theta }_{d/2}\end{array}\right)+\left(\begin{array}{c}-x_2\\ x_1\\ -x_4\\ x_3\\ ⋮\\ -x_d\\ x_{d-1}\end{array}\right)\otimes \left(\begin{array}{c}sinm{\theta }_1\\ sinm{\theta }_1\\ sinm{\theta }_2\\ sinm{\theta }_2\\ ⋮\\ sinm{\theta }_{d/2}\\ sinm{\theta }_{d/2}\end{array}\right)$$

远程衰减

       对向量$q$、$k$按维度$d$成对分组，则RoPE的内积可转换为：
$$(R_{\Theta ,m}^d{W}_q{x}_m{)}^T(R_{\Theta ,n}^d{W}_k{x}_n)=Re[\sum _{i=0}^{d/2-1}{q}_{[2i:2i+1]}{k}_{[2i:2i+1]}^{\ast }{e}^{i(m-n){\theta }_i}]$$

       其中$q_{[2i:2i+1]}$表示$q$的$2i\backsim 2i+1$维度的值。令$h_i=q_{[2i:2i+1]}{k}_{[2i:2i+1]}^{\ast }$，$S_j={\sum }_{i=0}^{j-1}{e}^{i(m-n){\theta }_i}$，则有：
$$\sum _{i=0}^{d/2-1}{q}_{[2i:2i+1]}{k}_{[2i:2i+1]}^{\ast }{e}^{i(m-n){\theta }_i}=\sum _{i=0}^{d/2-1}{h}_i(S_{i+1}-S_i)$$

       令$h_{d/2}=0$，$S_0=0$，利用阿贝尔变换得：
$$\begin{gathered} \sum _{i=0}^{d/2-1}{h}_i(S_{i+1}-S_i)=[h_{d/2}{S}_{d/2}-h_0{S}_0]-\sum _{i=0}^{d/2-1}{S}_{i+1}(h_{i+1}-h_i) \\ =-\sum _{i=0}^{d/2-1}{S}_{i+1}(h_{i+1}-h_i) \end{gathered}$$

       根据不等式$|a+b|\le |a|+|b|$得：
$$\begin{gathered} \left|\begin{array}{c}{\sum }_{i=0}^{d/2-1}{q}_{[2i:2i+1]}{k}_{[2i:2i+1]}^{\ast }{e}^{i(m-n){\theta }_i}\end{array}\right|=\left|\begin{array}{c}{\sum }_{i=0}^{d/2-1}{S}_{i+1}(h_{i+1}-h_i)\end{array}\right| \\ \le \sum _{i=0}^{d/2-1}\left|\begin{array}{c}{S}_{i+1}(h_{i+1}-h_i)\end{array}\right|=\sum _{i=0}^{d/2-1}\left|\begin{array}{c}{S}_{i+1}\end{array}\right|\left|\begin{array}{c}(h_{i+1}-h_i)\end{array}\right| \\ \le (\underset{i}{\max }\left|\begin{array}{c}{h}_{i+1}-h_i\end{array}\right|)\sum _{i=0}^{d/2-1}\left|\begin{array}{c}{S}_{i+1}\end{array}\right| \end{gathered}$$

       故设${\theta }_i=10000^{-2i/d}$，如下图可视化$\frac{1}{d/2}{\sum }_{i=0}^{d/2-1}\left|\begin{array}{c}{S}_i\end{array}\right|$的值，可知其随相对距离$m-n$的增加而衰减。故可知随着相对距离的变大，RoPE的内积结果有衰减趋势的出现，这满足长距token间相关性减弱的假设。

整合线性自注意力

       线性Attention的常见形式为：
$$Attention(Q,K,V{)}_i=\frac{{\sum }_{j=1}^{n}sim(q_i,k_j)v_j}{{\sum }_{j=1}^{n}sim(q_i,k_j)}=\frac{{\sum }_{j=1}^n\varphi (q_i{)}^T\phi (k_j)v_j}{{\sum }_{j=1}^n\varphi (q_i{)}^T\phi (k_j)}$$

       $\varphi ,\phi$为非负激活函数，由于其计算方式也为内积，故可直接将RoPE整合进去：
$$Attention(Q,K,V{)}_i=\frac{{\sum }_{j=1}^n[W_i\varphi (q_i){]}^T[W_j\phi (k_j)]v_j}{{\sum }_{j=1}^n[W_i\varphi (q_i){]}^T[W_j\phi (k_j)]}$$

       但$[W_i\varphi (q_i){]}^T[W_j\phi (k_j)]$可能为负数，分母有为0的风险，考虑$W_i,W_j$是正交矩阵，不改变向量的模长，因此可以抛弃常规的注意力归一化要求，使用如下形式的线性Attention：
$$Attention(Q,K,V{)}_i=\frac{{\sum }_{j=1}^n[W_i\varphi (q_i){]}^T[W_j\phi (k_j)]v_j}{{\sum }_{j=1}^n\varphi (q_i{)}^T\phi (k_j)}$$

实验

机器翻译

       实验对self-attention层进行了一些修改，以使RoPE能够适应其学习过程。翻译任务基于联合源和目标字节对编码(BPE) ，用37k的词汇表复制了英德翻译任务的设置。在评估过程中，通过平均最后5个checkpoint得到模型。结果使用大小为4，长度惩罚为0.6的beam search。用Adam优化器${\beta }_1=0.9$, ${\beta }_2=0.98$进行优化，学习率从$1e^{-7}$到$5e^{-4}$线性增加，然后与步骤数的反平方根成比例衰减，采用了0.1的label-smoothing。用测试集上的BLEU分数作为最终指标。

       上图显示在WMT 2014英语到德语翻译任务中，与Transformer相比，RoPE给出了更好的BLEU分数。

预训练语言模型

       使用Huggingface数据集的BookCorpus和Wikipedia语料库Foundation 进行预训练，语料以8:2的比例划分为训练集和验证集，使用训练过程的掩码语言建模(MLM)损失值作为评估指标。采用BERT作为基线模型。对于RoFormer，将BETR的自注意力块中的正弦位置编码替换为RoPE。对BERT和RoFormer进行了训练，batch size大小为64，最大序列长度为512，步骤为100k。使用学习率为1e-5的AdamW优化器。

       上图显示预训练期间的MLM损失。与普通的BERT相比，RoFormer的收敛速度更快。

对GLUE任务进行微调

       实验对MRPC，SST-2，QNLI，STS-B，QQP和MNLI预训练后微调查看GLUE。在MRPC和QQP数据集上使用F1-score，在STS-B数据集上使用spearman相关性，在剩余数据集上使用准确率作为评价指标。使用Huggingface Transformers库对上述每个下游任务进行3个epoch的微调，最大序列长度为512，批量大小为32，学习率为2,3,4,5e-5。

       上图显示RoFormer在6个数据集中的3个数据集上的性能明显优于BERT。

线性注意力整合RoPE

       实验在Enwik8数据集Mahoney上进行测试，该数据集来自英文维基百科，除英文文本外，还包括标记、特殊字符和其他语言的文本。将RoPE合并到12层12个头768维的PerFormer。报告了在相同设置下，有和没有RoPE时预训练过程的损失曲线。学习率$1e-4$、 batch size128和固定的最大序列长度1024。

       结果如figure3右图，观察到在相同的训练步数下，将RoPE代入Performer可以快速收敛和更低的损失。

中文数据测试

       在长度超过512个字符的中文长文本上进行了实验，对WoBERT进行了一些修改，用RoPE替换绝对位置嵌入。作为与其他基于transformer的中文预训练模型BERT、WoBERT和NEZHA的交叉比较。实验从中文维基百科、新闻和论坛收集的大约34GB数据上对RoFormer进行了预训练。预训练分多个阶段进行，改变batch size和最大输入序列长度，以使模型适应各种场景。

       上图为实验配置，abs和rel表示绝对位置嵌入和相对位置嵌入。

       上图显示RoFormer的准确率随着序列长度上界的增加而提高，这验证了RoFormer在处理长文本方面的能力。

下游任务

       实验选择Chinese AI and Law 2019 Similar Case Matching数据集在语义文本匹配方面的能力。CAIL2019-SCM收录最高人民法院公布的案件三联稿8964篇。输入三元组表示为(A, B, C)，是对三种情况的事实描述。任务是在预定义的相似性度量下预测(A, B)是否比(A, C)更接近。按照6:2:2的比例划分训练集、验证集和测试集。

       上图显示在相同的预训练数据上，将该模型与预训练的BERT和WoBERT模型进行对比。对于短文本截断，即512个，RoFormer的结果与WoBERT相当，略优于BERT的实现。当最大输入文本长度增加到1024时，RoFormer的性能比WoBERT提高了1.5％。

reference

Su, J. , Lu, Y. , Pan, S. , Wen, B. , & Liu, Y. . (2021). Roformer: enhanced transformer with rotary position embedding.