【深度学习】如何理解 Transformer 位置编码：每个位置的编码真的都是唯一的吗？还是周期性的？

理解 Transformer 位置编码：每个位置的编码真的都是唯一的吗？

在深入学习自然语言处理（NLP）模型的过程中，Transformer 模型以其强大的性能和灵活性逐渐成为主流。Transformer 的自注意力机制可以同时处理句子中的所有位置，不再依赖传统 RNN 的顺序处理。这一机制的优势显而易见，但也引发了一个新问题：如何保留输入序列中的位置信息？Transformer 的位置编码（Positional Encoding）正是为了解决这个问题。

位置编码的基本原理

在 Transformer 中，位置编码通过一组不同频率的正弦（sin）和余弦（cos）函数生成。这些编码被加到输入的词向量中，使得模型可以感知到序列中各个词的位置。位置编码的公式如下：

PE ( p