位置编码(四) 相对位置编码 二维位置编码 裁剪位置编码 RPE 2d-PE CPE

DETR 二维位置编码

CNN会输出一组二维特征图，在添加了2d-PE后，才送往transformer encoder。

知乎博客指出DETR有发明一个二维的spatial positional encoding，并举了2d绝对位置编码的例子。

关于DETR 二d可学习位置编码，可以观察PositionEmbeddingLearned

class PositionEmbeddingLearned(nn.Module):
    """
    Absolute pos embedding, learned.
    """
    def __init__(self, num_pos_feats=256):
        super().__init__()
        self.row_embed = nn.Embedding(50, num_pos_feats)
        self.col_embed