加州大学提出时间间隔自注意力模型用于序列推荐(已开源)

Time Interval Aware Self-Attention for Sequential Recommendation

Jiacheng Li, Yujie Wang, Julian McAuley

University of California, Florida State University

WSDM 2020

https://cseweb.ucsd.edu/~jmcauley/pdfs/wsdm20b.pdf

序列推荐系统会利用用户行为的序列信息，基于用户最近行为的上下文来预测下一步的行为。

目前，马尔科夫链以及最近的循环神经网络和自注意力由于能够捕捉到序列行为的动力学而得到广泛应用。但是，这些模型中的大部分暗含了简单的假设，即将行为历史看做有序序列，不关心每个行为之间的时间间隔，这些模型只对时间的序列进行建模，不对实际的时间戳进行建模。

这篇文章，旨在基于序列模型框架对行为的时间戳进行建模，在下一个商品预测中探索不同时间间隔的影响。作者们提出TiSASRec，考虑时间间隔的基于自注意力的序列推荐模型，可以对序列中商品的绝对位置和商品之间的时间间隔同时建模。

作者们试验了不同的场景下TiSASRec的特性，并且对比了不同位置编码下自注意力的效果。实验结果表明，该方法在稀疏和稠密数据集上多个评价指标均优于STOA序列模型。

部分主流模型的简介如下

这些方法的缺陷在于只考虑了位置，没考虑时间间隔

两个数据集中行为之间的时间间隔分布图示如下

这篇文章的主要贡献如下

部分现有方法及其缺陷在于

注意力机制简介如下

不同的时间间隔可能需要推荐不同的商品

问题描述如下

得到个性化时间间隔的方法简介如下

位置信息的embedding可以通过以下方式得到