Memory Augmented Graph Neural Networks for Sequential Recommendation AAAI 20翻译

Abstract

用户项目交互的时间顺序可以揭示许多推荐系统中时间演变和顺序的用户行为。用户将与之交互的项目可能取决于过去访问的项目。然而，用户和项目的大量增加使得顺序推荐系统仍然面临着不小的挑战：（1）短期用户兴趣建模的难度； （2）难以计算长期用户兴趣； （3）项目共现模式的有效建模。为了解决这些挑战，我们提出了一种内存增强图神经网络（MA-GNN），以捕获长期和短期的用户兴趣。具体来说，我们应用图神经网络在短期内对项目上下文信息进行建模，并利用共享内存网络捕获项目之间的长期依赖关系。除了对用户兴趣进行建模外，我们还采用了双线性函数来捕获相关项目的共现模式。我们在五个真实的数据集上广泛评估了我们的模型，并与几种最新方法进行了比较，并使用了各种性能指标。实验结果证明了我们的模型对Top-K顺序推荐任务的有效性。

Introduction

随着Internet服务和移动设备的快速增长，个性化推荐系统在现代社会中发挥着越来越重要的作用。 它们可以减少信息过载并帮助满足各种服务需求。 这样的系统给至少两个方面带来了显着的好处。 他们可以：（i）帮助用户轻松地从数百万的候选人中发现产品，以及（ii）为产品提供商创造增加收入的机会。

在Internet上，用户按时间顺序访问在线产品或项目。 用户将来与之交互的项目可能在很大程度上取决于他/她过去访问过的项目。 此属性有助于实际应用场景-顺序推荐。 在顺序推荐任务中，除了所有常规推荐模型都捕获了常规用户兴趣外，我们认为还有三个额外的重要因素可以建模：用户短期兴趣，用户长期兴趣和项目共现模式 。 用户短期兴趣描述了给定短期内几个最近访问的项目的用户偏好。 用户的长期兴趣捕获了较早访问的项目与用户将来将访问的项目之间的长期依赖关系。 项目共现模式说明了诸如手机和屏幕保护器之类的共同相关项目的共同发生

尽管许多现有方法已经提出了有效的模型，但我们认为它们不能完全捕获上述因素。首先，诸如Caser（Tang and Wang 2018），MARank（Yu et al.2019）和Fossil（He and McAuley 2016a）之类的方法仅对短期用户兴趣建模，而忽略了项目序列中项目的长期依赖性。 （Belletti，Chen和Chi 2019）证实了捕获远程依赖的重要性。其次，诸如SARSRec（Kang和McAuley 2018）之类的方法并未明确为用户短期利益建模。忽略用户的短期兴趣会阻止推荐系统在短期内了解随时间变化的用户意图。第三，像GC-SAN（Xu et al.2019）和GRU4Rec（Hidasi and Karatzoglou 2018）之类的方法没有明确捕获项目序列中的项目共现模式。密切相关的项目对通常一个接一个地出现，推荐系统应考虑到这一点。

为了整合上述因素，我们提出了一种记忆增强图神经网络（MA-GNN），以解决顺序推荐任务。 它由一般兴趣模块，短期兴趣模块，长期兴趣模块和项目共现模块组成。 在一般兴趣模块中，我们采用矩阵分解项来对一般用户兴趣进行建模，而无需考虑项目顺序动力学。 在短期兴趣模块中，我们使用GNN汇总商品的邻居，以形成短期内的用户意图。 这些可以在短期内捕获本地上下文信息和结构（Battaglia et al.2018）。 为了模拟用户的长期兴趣，我们使用共享的键值存储网络来根据用户的长期项目序列生成兴趣表示。 通过这样做，在推荐项目时将考虑具有类似偏好的其他用户。为了结合短期和长期兴趣，我们在GNN框架中引入了门控机制，该机制类似于长期短期记忆（LSTM）（Hochreiter and Schmidhuber 1997）。 这控制了长期或短期利益表示可以为组合表示贡献多少。 在项目共现模块中，我们应用双线性函数来捕获在项目序列中一个接一个出现的紧密相关的项目。 我们在五个真实的数据集上广泛评估了我们的模型，并将其与使用各种性能验证指标的许多最新方法进行了比较。 实验结果不仅证明了我们的模型相对于其他基准的改进，而且还表明了所提出组件的有效性。
贡献

• 为了建模用户的短期和长期兴趣，我们提出了一种记忆增强图神经网络，以捕获项目的短期上下文信息和长期依赖关系。
• 为了有效地融合短期和长期利益，我们在GNN框架中加入了一种门控机制，以自适应地组合这两种隐藏表示。
• 为了显式地对项目共现模式进行建模，我们使用双线性函数来捕捉项目之间的特征相关性

Problem Formulation

本文考虑的推荐任务采用顺序隐式反馈作为训练数据。用户偏好由按时间顺序的用户项目序列表示，
其中I_∗是用户与之交互的项目索引。给定M个用户中较早的子序列
问题是向每个用户推荐总共N个项目(K<N)中的K个项目列表，并评估
中的项目是否出现在推荐列表中。

模型

在这一部分中，我们将介绍提出的MA-GNN模型，该模型将记忆增广图神经网络应用于顺序推荐任务。我们介绍了影响用户偏好和意图学习的四个因素。然后介绍了该模型的预测和训练过程。

General Interest Modeling

用户的一般或静态兴趣捕获了用户的固有偏好，并且假设随着时间的推移是稳定的。为了抓住用户的普遍兴趣，我们使用了矩阵分解项，而没有考虑项目的顺序动态。这个术语的形式是

Short-term Interest Modeling

用户的短期兴趣描述了用户当前的偏好，并基于短期内最近访问的多个项目。 用户将在不久的将来与之交互的项目可能与她刚刚访问的项目密切相关，并且用户行为的这一属性在许多先前的作品中得到了证实（Tang和Wang 2018; Hidasi和Karatzoglou 2018; He和 McAuley 2016a）。 因此，按顺序推荐对有效建模用户的短期兴趣非常重要，这是最近访问过的项目所反映的。
为了显式地建模用户的短期兴趣，我们执行了滑动窗口策略，将项目序列拆分为细粒度的子序列。 然后，我们可以专注于最近的子序列，以预测接下来将出现哪些项目，而忽略影响较小的无关项目。对于每个用户u，我们提取每|L|个连续的项目作为输入，并提取它们的下|T|个项目作为预测目标，其中lu，
是用户u的第l个子序列。则问题可以表示为：在用户项交互序列$S^U$中，给定|L|个连续项的序列，预测的项与该用户的目标|T|个项相符的可能性有多大。由于它们具有执行邻域信息聚合和局部结构学习的能力(Battaglia等人，2018)，图神经网络(GNN)很好地匹配了在$L_{u,l}$中聚合项目的任务，以学习用户的短期兴趣。

Item Graph Construction

由于项目序列并不是GNN训练的固有图，因此我们需要构建一个图来捕获项目之间的联系。 对于项目序列中的每个项目，我们提取几个后续项目（我们的实验中为三个项目）并在它们之间添加边。 我们为每个用户执行此操作，并计算所有用户中提取的项目对的边数。 然后，我们对邻接矩阵进行行归一化。 这样，可以提取顺序中彼此看起来更接近的相关项目。图2显示了如何提取项目邻居和建立邻接矩阵的示例。我们将提取的邻接矩阵表示为A，其中$A_{i,k}$表示项目k关于项目i的标准化节点权重。 并且项目i的相邻项目被表示为