IJCAI2019|深层自注意力网络在序列推荐中的应用

Feature-level Deeper Self-Attention Network for Sequential Recommendation

Tingting Zhang, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Deqing Wang, Guanfeng Liu and Xiaofang Zhou

Soochow University, Zhejiang Lab, Rutgers University, University of Central Arkansas, Beihang University, Macquarie University, The University of Queensland

https://www.ijcai.org/Proceedings/2019/0600.pdf

序列推荐，旨在给用户推荐在不久的将来可能会发生交互行为的商品。这种推荐在很多互联网应用中越来越重要。

现有方法通常只考虑商品之间的转换模式，忽略了商品特征之间的转换模式。只利用商品层次的序列不能揭示完整序列模式的特性，显式和隐式特征层次的序列有助于提取完整序列的模式。

这篇文章提出一种新的方法，特征层次的深层自注意力网络（FDSA），用于序列推荐。FDSA首先通过一种通常的注意力机制，利用不同权重将多种异质商品特征集成为特征序列。

然后，FDSA基于商品层面序列和特征层面序列，分别利用独立的自注意力模块对商品转换模式和特征转换模式进行建模。

接下来，将这两个模块的输出进行集成，得到一个全连接层，然后用于推荐下一个商品。

大量实验结果表明，考虑特征之间的转换关系可以显著提升序列推荐的性能。

部分现有方法如下

这些方法基于马尔可夫链或者循环神经网络，或者长短时记忆网络和门限循环单元。

也有一些模型考虑了自注意力网络。

下面是这篇文章的主要贡献

目前用于序列推荐的模型及缺陷如下

问题描述如下

这篇文章所提模型的整体框架如下