视觉Transformer中的位置编码方式

绝对位置编码

基本形式：x = x + p

可学习的绝对位置编码（ViT）

ViT中提出的位置编码方式简单粗暴，设置一组可学习的编码tokens，并在patch embeding后逐元素相加，在训练阶段一起训练。这种方式的不足是序列化长度固定了，在遇到较大分辨率图像时可以对学习好的positional embedding进行插值然后对模型进行fine-tune。

条件位置编码（CPVT）

本文针对上述问题，提出了一种利用卷积核自适应地根据输入图片的tokens长度生成positional embedding的方法。同时文章也研究了位置编码放置的位置和不同layer之间是否共享位置编码对模型性能的影响。

其他方法

如，从BETR-3中借鉴过来的正余弦位置编码方式。

相对位置编码

基本形式：

Shaw’s RPE

在一定距离范围内，设置可学习的位置嵌入对

RPE in Transformer-XL.

u和v是两个可学习的向量，s是正弦先验偏置项，用于引入先验位置信息。

Huang’s RPE

query和key共享编码向量，同时考虑了query和key的交互以及正弦先验位置信息。

image Relative Positional Embedding paper report

本文深入研究了相对位置编码中的上下文关系、编码的方向性、编码共享、截断函数的影响，还比较了绝对编码与相对编码混合使用的效果。
首先，作者使用了统一的形式来表示偏置编码和上下文编码。

然后，作者设计了欧氏距离、量化、十字交叉和乘积四种形式的r，分别对应了无、有相对方向的考虑。

例如，对于上图这种十字交叉的r形式，分别计算了相对位置在x和y上的距离，并通过分段函数进行索引映射，从而找到可学习的位置嵌入向量p，并加和得到最终的r。