transformer为什么使用sin和cos表示位置信息

为什么需要位置信息？

背景介绍

Transformer 是一种基于注意力机制的神经网络模型，广泛应用于自然语言处理任务，如机器翻译、文本生成等。与传统的循环神经网络（RNN）不同，Transformer 没有内置的序列顺序处理能力，因此需要一种方法来引入序列中元素的位置信息。

• 自注意力机制的特点：Transformer 的核心是自注意力机制（Self-Attention），它能够在序列中任意两个位置之间建立直接的依赖关系。但是，由于这种机制对序列中元素的位置不敏感，如果不引入位置信息，模型就无法区分不同位置的元素，导致序列信息的丢失。

• 位置信息的重要性：在自然语言处理中，词语的顺序对句子的含义有着重要影响。例如，“我爱你”和“你爱我”虽然包含相同的词，但顺序不同，含义也不同。因此，引入位置信息对于模型理解序列数据至关重要。

---

为什么使用正弦和余弦函数表示位置信息

Transformer 模型的作者 Vaswani 等人在论文 “Attention Is All You Need” 中提出了一种 位置编码（Positional Encoding） 方法，使用正弦和余弦函数来表示位置信息，其原因和优势如下：

1. 捕捉不同频率的位置信息

• 多频率表示：通过对不同维度使用不同频率的正弦和余弦函数，位置编码能够在不同的尺度上捕捉位置信息。这使得模型可以学习到序列中不同范围的位置信息。

• 公式表示：

  对于序列中位置为 $pos$ 的元素，第 $i$ 个维度的位置编码为：

$$P{E}_{(pos,2i)}=\sin \left(\frac{pos}{10000^{2i/d_{model}}}\right)$$

$$P{E}_{(pos,2i+1)}=\cos \left(\frac{pos}{10000^{2i/d_{model}}}\right)$$

其中，$d_{model}$是模型的维度，$i$ 是维度的索引。

2. 方便模型学习相对位置关系

• 线性可加性：正弦和余弦函数具有良好的数学性质，例如：

$$\sin (a+b)=\sin a\cos b+\cos a\sin b$$
$$\cos (a+$$