【位置编码】【Positional Encoding】直观理解位置编码！把位置编码想象成秒针！

【位置编码】【Positional Encoding】直观理解位置编码！把位置编码想象成秒针！

你们有没有好奇过为啥位置编码非得长成这样：
$$\begin{gathered} PE(pos,2i)=sin(\frac{pos}{10000^{2i/d_{model}}}) \\ PE(pos,2i+1)=cos(\frac{pos}{10000^{2i/d_{model}}}) \end{gathered}$$

• 为什么位置编码一定要分为奇数和偶数分别考虑？
• 为什么又要有sin又要有cos？

这里提供一个直观的理解方案，位置编码想象成秒针可以帮助你轻松理解为什么要如此编码。

【转载注明出处】

为了解释位置编码，我们先考虑下面的场景：

不一样的秒表

假设我们手上有三个不一样的“秒表”，这些秒表长这样：

这三个秒表都只有一个指针，不同的是第一个秒表的指针10s转一圈，第二个秒表的指针100s转一圈，第三个秒表1000s转一圈。

现在，考虑一个问题：
Q： 如果我在$0$秒时同时按下这3个秒表，问在$t$秒时这三个表的指针转过的角度 ${\varphi }_1,{\varphi }_2,{\varphi }_3$分别是多少？

这个答案很简单！
A: 我们可以知道，第一个表每秒钟转$2\pi /10$，第二个表每秒钟转$2\pi /100$，第三个表每秒钟转$2\pi /1000$，因此：
${\varphi }_1=t\times 2\pi /10,{\varphi }_2=t\times 2\pi /100,{\varphi }_3=t\times 2\pi /1000$

从时间到角度

现在，其实我们可以把每个时间$t$对应成一个坐标：
$$t\to ({\varphi }_1,{\varphi }_2,{\varphi }_3)$$同样的这样的一个坐标也能唯一的对应一个时间！（如果第三个秒表没有转完完整一圈的话）

从角度到坐标

进一步，我们还可以用三角函数来表达一个角度$\varphi$，比如在0到2$\pi$的范围内$(sin(\varphi ),cos(\varphi ))$这个坐标可以唯一确定$\varphi$。这个坐标也就是指针的端点的平面坐标（指针长度为1的话）：

到目前为止我们就得到了这样的一个变化过程：
$$\begin{gathered} t\to ({\varphi }_1,{\varphi }_2,{\varphi }_3) \\ \to (sin({\varphi }_1),cos({\varphi }_1),sin({\varphi }_2),cos({\varphi }_2),sin({\varphi }_3),cos({\varphi }_3)) \end{gathered}$$
因此我们就可以反过来，用这些角度表达时间$t$:
$$(sin({\varphi }_1),cos({\varphi }_1),sin({\varphi }_2),cos({\varphi }_2),sin({\varphi }_3),cos({\varphi }_3))\to t$$其中${\varphi }_1=t\times 2\pi /10,{\varphi }_2=t\times 2\pi /100,{\varphi }_3=t\times 2\pi /1000$

位置编码

在上述的例子中，令时间$t\leftarrow pos$。且我们有$d_{model}/2$个秒表，第$i$个秒表转一圈的需要的时间是$2\pi \times 10000^{2i/d_{model}}$，那么经过时间$pos$之后第$i$个秒表的角度$${\varphi }_i=pos\times \frac{2\pi }{2\pi \times 10000^{2i/d_{model}}}=\frac{pos}{10000^{2i/d_{model}}}$$
那么我们同样可以用这$d_{model}/2$个秒表的端点坐标表达$pos$
$$(sin({\varphi }_1),cos({\varphi }_1),\cdots )\to pos$$

可以直接注意到，上式就是我们提到的位置编码！
$$\begin{gathered} PE(pos,2i)=sin(\frac{pos}{10000^{2i/d_{model}}}) \\ PE(pos,2i+1)=cos(\frac{pos}{10000^{2i/d_{model}}}) \end{gathered}$$ 一摸一样！