LLM - 理解 Transformer 的位置编码 sin & cos 的作用与原理

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/140697827

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

---

Transformer 模型中的位置编码是关键技术，通过为每个词嵌入向量添加位置信息来保留序列的顺序性，增强模型对长距离依赖关系的捕捉能力，使得模型能够理解单词在句子中的位置，从而更好地处理语言的语法和语义结构，提高模型的表达能力和泛化能力，同时减少训练时间并增强模型的自适应性。位置编码通常通过正弦和余弦函数的组合实现，为每个位置生成唯一的编码，使得模型能够在并行处理序列数据的同时保留顺序信息。

论文中的位置编码 (Positional Encoding)：

公式如下：
P