【推荐算法论文阅读】Next Item Recommendation with Self-Attention

本文的亮点在于将item之间的短期交互用Transformer框架的self-attention建模，并将item和user之间的长期交互用一种类似于latent factor的方法建模(latent factor是user embedding和item embedding之间的点积，本文为了避免metric learning存在的不等式问题，将点积换成了欧式距离)。

一、item之间的短期交互建模

用Transformer架构的self-attention机制进行建模

输入是：
然后进行self-attention：

二、user-item之间的长期兴趣建模

user-item之间的长期兴趣建模可以理解成一个整体的user embedding或item embeddding建模，与短期建模考虑L个连续的item不同的是，这是local和global的区别。item和user之间的长期交互用一种类似于latent factor的方法建模(latent factor是user embedding和item embedding之间的点积，本文为了避免metric learning存在的不等式问题，将点积换成了欧式距离)。

三、目标

给定时间步 t 的短期注意力意图和长期偏好，我们的任务是预测用户在时间步 t+1 将与之交互的item。 为了保持一致性，我们采用欧几里得距离对短期和长期影响进行建模，并将它们的总和作为最终推荐分数。

在上述等式中，第一项表示用户u与其下一个交互的item之间的长期建模的推荐得分，而第二项表示用户u与其下一个交互的item之间的短期建模的推荐得分。$V_{{\mathcal{H}}_{t+1}^u}\text{和 }{X}_{t+1}^u$都是下一个item的embedding，但是这是两个不同的参数。

四、度量学习

在某些情况下，我们可能想要预测接下来的几项而不是仅仅一项。