m0_49478110的博客

原创 超超超超超简单！从结果推导RoPE旋转位置编码

我们知道，主流大语言模型使用的自注意力机制(self-attention)技术中，缺少位置的信息。而位置信息对于理解语言而言是相当重要的，比如你爱我和我爱你有同样的字却有截然不同的含义，其中的关键就在于字的位置不同。一种传统并且相当直观的方法是在计算self-attention之前给输入加上绝对位置编码，让输入能够带有位置信息，以便于模型理解。# __init__作用，定义一个词嵌入层，一个位置嵌入层，以及六个decoder layer。