推荐算法—序列特征Attention方式总结

1、MLP的Attention Pooling方法

从图中可以看出，在对物品序列和物品特征序列处理的时候，不是直接采用sum/max/mean pooling进行融合，而是对每个物品和每个物品特征分别进行了加权融合。因为考虑到这样一种情况，比如当前用户要书，那么在用户的历史购买行为中，我们应该去多关注该用户之前都买什么样的书，而该用户在其他方面的购买记录就相对显得没有那么重要。因此基于此想法，权重的计算就是根据当前物品和历史物品序列中每个物品的相似度得到。具体做法是对当前物品的embedding和历史物品序列中每个物品embedding进行点乘，然后再对这些得到的结果进行softmax归一化，得到的结果即为对应每个物品的权重，同理物品特征的权重计算也一样。

2、DIN中的Attention