大模型都在用的：旋转位置编码

写在前面

        这篇文章提到了绝对位置编码和相对位置编码，但是他们都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（Rotary Position Embedding, RoPE），兼顾效率和相对位置关系。

        RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。

一、RoPE的优点

1.真正的旋转位置编码

        Transformer的原版位置编码也使用了三角函数，但它生成的是每个位置的绝对编码，三角函数的主要用途是生成具有可区分性的周期性模式，也没有应用旋转变换的概念，因此属于绝对位置编码。同时原版的编码使用加法，在多层传递后导致位置信息的稀释，如下图 （没想到这张图也有被当做反面典型的时候吧）：

        RoPE不是简单的加法，而是通过复数乘法实现旋转变换，这种旋转是将位置信息融入到token表示中的关键机制。RoPE在实现过程中通过乘法操作融入位置信息，与模型中的Q和K深度融合，将旋转操作真正植入Attention机制内部，强化了位置编码信息的作用。

2.更好的相对位置信息编码

        注意力机制通过计算Embedding的内积来确定它们之间的关系强度。

        使用RoPE时，两个位置的编码通过旋转变换后的内积，自然地包含了它们之间的相对位置信息。这是因为旋转操作保持了内积的性质，使得内积计算不仅反映了token的内容相似性，还反映了它们的位置关系。

3.更适用于多维输入

        这点很有意思，传统的Transformer位置编码主要针对一维序列，如文本序列。然而，在某些任务中，输入可能是二维或更高维的数据，如图像或视频数据。旋转位置编码可以更灵活地应用于多维输入数据，通过对不同维度的位置信息进行编码，使得模型能够更好地理解多维数据中的位置关系。

4. 更善于处理长序列

        RoPE可以减少位置信息的损失。在深层网络中，RoPE通过乘法操作融入位置信息，乘法操作有助于在深层网络中保持位置信息的完整性。在处理一个长文本时，RoPE通过在每一层的自注意力计算中使用旋转变换，确保了位置信息能够被有效保留和利用，即使是在模型的较深层次。

二、公式

        既然旋转的位置编码有这么多优点，那怎么实现位置编码的旋转呢，其实网上有很多介绍的文章。大概意思就是复数可以通过乘以e的幂来旋转角度，其中幂就是角度，再结合欧拉公式推出三角函数的表达，大致流程如下。

        欧拉公式：

        （1）

        复数旋转角度θ：

                （2）

        将（1）带入（2）：

        （3）

        这块东西苏剑林老师已经从数学的角度进行过很深入的推导，这里的融合式部分，我就不班门弄斧了。我今天提供一种朴素的思考过程，从代码实现的角度思考如何进行旋转。

        众所周知，一维向量是不能旋转的，那我们就旋转一个[2,d]的二维向量q，并且设即：