旋转位置编码Rope

RoPE（旋转式位置编码Rotary Position Embedding，RoPE）是目前常见大模型使用的位置编码方式。

本文主要包含 1. 绝对位置编码；2.相对位置编码；3.RoPE的表达式推导；4. 远程衰减性；5. 线性注意力的应用；6.代码链接。

大模型都在用的：旋转位置编码-CSDN博客

RoFormer代码：

GitHub - ZhuiyiTechnology/roformer: Rotary Transformer

https://zhuanlan.zhihu.com/p/690726751