Transformer 位置编码(Positional Encoding)

原式(见1706.03762.pdf (arxiv.org)

PE(pos, 2i) =sin(\frac{pos}{10000^{\frac{2i}{d_{model}}}})

 PE(pos, 2i+1) =cos(\frac{pos}{10000^{\frac{2i}{d_{model}}}})

合并化简得

PE(pos, i) =\left\{\begin{matrix} sin(\frac{pos}{10000^{\frac{i}{d_{model}}}}) & \text{if i is even} \\ cos(\frac{pos}{10000^{\frac{i-1}{d_{model}}}}) & \text{if i is odd} \end{matrix}\right.

参数解读:

  • pos: 词向量的位置
  • i:维度的位置
  • d_{model}:词向量的维度大小

以一个2个词,每个词维度维度为4的输入为例:

维度0(i=0)维度1(i=1)维度2(i=2)维度3(i=3)
词向量0(pos=0)sin(\frac{0}{10000^{\frac{0}{4}}})cos(\frac{0}{10000^{\frac{0}{4}}})sin(\frac{0}{10000^{\frac{2}{4}}})cos(\frac{0}{10000^{\frac{2}{4}}})
词向量1(pos=1)sin(\frac{1}{10000^{\frac{0}{4}}})cos(\frac{1}{10000^{\frac{0}{4}}})sin(\frac{1}{10000^{\frac{2}{4}}})cos(\frac{1}{10000^{\frac{2}{4}}})

由上可见,位置编码与词向量所包含的值无关,仅与位置和维度大小有关。 

代码示例如下: 

import numpy as np


def PE(pos, i, dmodel):
    n = 10000
    if i % 2 == 0:
        # i is even
        return np.sin(pos / np.power(n, (i / dmodel)))
    else:
        # i is odd
        return np.cos(pos / np.power(n, ((i - 1) / dmodel)))


sample = np.zeros((2, 4))  # 2 word vectors; each vector has four dimensions
dmodel = sample.shape[1]
for pos in range(sample.shape[0]):
    for i in range(sample.shape[1]):
        sample[pos][i] = np.round(PE(pos, i, dmodel), 5)
print(sample)

# output
# [[0.         1.         0.         1.        ]
#  [0.84147098 0.54030231 0.00999983 0.99995   ]]
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值