weixin_55509824的博客

原创 Tiny-universe组队学习task1学习笔记

相对位置嵌入：ROPE提供了一种自然编码相对位置信息的方法，而不像传统的位置编码需要通过复杂的机制来捕捉相对位置信息。与自注意力的无缝集成：ROPE通过对查询和键进行旋转，可以直接嵌入到自注意力机制中，不需要改变注意力计算的结构，因此非常适合与Transformer类模型配合使用。处理长序列的能力：ROPE在处理长序列任务时表现优异。由于其编码方式能够捕捉到相对位置信息，ROPE对于远距离依赖的捕捉更加灵活，有助于提高长序列中的信息传递效率。