pytorch position位置编码 倒置 反向添加

很多时候，需要添加一些位置编码。我在实验中尝试了反向添加，效果不如正向添加，但是可能在一些情况下，效果会更好。

首先解释反向添加：

下面的数字0代表了占位符，11代表用户1购买的第1件商品，21代表用户2购买的第1件商品。

正常添加位置编码，都是给每位用户的第1件商品增加一个编码1，给每位用户的第2件商品增加一个编码2…

        [11,12,13,0,0],
        [21,22,0,0,0],
        [31,0,0,0,0]

现在给每位用户的倒数第1件商品增加一个编码1，给每位用户的倒数第2件商品增加一个编码2…

示例代码：

    x=torch.Tensor([
        [1,1,1,0,0],
        [1,1,0,0,0],
        [1,0,0,0,0]
    ])
    pos_emb= nn.Embedding(4,1).weight
    lens=x.sum(-1).detach().numpy().tolist()
    pos_to_add=torch.Tensor([np.append(pos_emb.detach().numpy()[-int(i):],[0]*(len(x[0])-int(i))) for i in lens])
    print("pos_emb:\n{}".format(pos_emb))
    print("result:\n{}".format(x+pos_to_add))

运行结果：

pos_emb:
Parameter containing:
tensor([[ 0.0516],
        [ 1.7185],
        [-1.6747],
        [ 0.5291]], requires_grad=True)
result:
tensor([[ 2.7185, -0.6747,  1.5291,  0.0000,  0.0000],
        [-0.6747,  1.5291,  0.0000,  0.0000,  0.0000],
        [ 1.5291,  0.0000,  0.0000,  0.0000,  0.0000]])

注意，当在gpu运行时，需要改成detach().cpu().numpy()才能运行~