绝对位置编码
基本形式:x = x + p
可学习的绝对位置编码(ViT)
ViT中提出的位置编码方式简单粗暴,设置一组可学习的编码tokens,并在patch embeding后逐元素相加,在训练阶段一起训练。这种方式的不足是序列化长度固定了,在遇到较大分辨率图像时可以对学习好的positional embedding进行插值然后对模型进行fine-tune。
条件位置编码(CPVT)
本文针对上述问题,提出了一种利用卷积核自适应地根据输入图片的tokens长度生成positional embedding的方法。同时文章也研究了位置编码放置的位置和不同layer之间是否共享位置编码对模型性能的影响。
其他方法
如,从BETR-3中借鉴过来的正余弦位置编码方式。
相对位置编码
基本形式:
Shaw’s RPE
在一定距离范围内,设置可学习的位置嵌入对
RPE in Transformer-XL.
u和v是两个可学习的向量,s是正弦先验偏置项,用于引入先验位置信息。
Huang’s RPE
query和key共享编码向量,同时考虑了query和key的交互以及正弦先验位置信息。
image Relative Positional Embedding paper report
本文深入研究了相对位置编码中的上下文关系、编码的方向性、编码共享、截断函数的影响,还比较了绝对编码与相对编码混合使用的效果。
首先,作者使用了统一的形式来表示偏置编码和上下文编码。
然后,作者设计了欧氏距离、量化、十字交叉和乘积四种形式的r,分别对应了无、有相对方向的考虑。
例如,对于上图这种十字交叉的r形式,分别计算了相对位置在x和y上的距离,并通过分段函数进行索引映射,从而找到可学习的位置嵌入向量p,并加和得到最终的r。