Interest-aware Message-Passing GCN for Recommendation WWW2021

ABSTRACT

图卷积网络(GCNS)在推荐方面显示出巨大的潜力。这归功于他们通过利用来自高阶邻居的协作信号来学习好的用户和项目嵌入的能力。与其他GCN模型一样，基于GCN的推荐模型也存在一个臭名昭著的过度平滑问题–当堆叠更多层时，节点嵌入会变得更加相似，最终无法区分，从而导致性能下降。最近提出的LightGCN和LR-GCN在一定程度上缓解了这一问题，然而，我们认为它们忽略了推荐中过度平滑问题的一个重要因素，即没有用户共同兴趣的高阶相邻用户也可以参与用户在图形卷积操作中的嵌入学习。因此，多层图卷积将使兴趣不同的用户具有相似的嵌入。本文提出了一种新的兴趣感知消息传递GCN推荐模型(IMP-GCN)，该模型在子图内部进行高阶图卷积。子图由具有相似兴趣的用户及其交互项目组成。为了形成子图，我们设计了一个无监督的子图生成模块，通过利用用户特征和图结构，可以有效地识别具有共同兴趣的用户。为此，我们的模型可以避免将来自高阶邻居的负信息传播到嵌入学习中。在三个大规模基准数据集上的实验结果表明，我们的模型可以通过堆叠更多的层来提高性能，并且性能明显优于现有的基于GCN的推荐模型。

1 INTRODUCTION

但我们认为它们仍然是从图卷积的角度来设计模型，而没有很好地考虑推荐领域的过平滑问题。

基于GCN的推荐模型建立在用户项图的基础上，其中用户和项根据用户与项的历史交互进行链接。用户嵌入是通过迭代聚合从相邻(用户和项目)节点传递的消息来学习的。请注意，传递的消息是从相邻节点的嵌入中提取的。当堆叠K层时，通过项目和用户间接连接的K顺序邻居的信息也参与到目标节点的嵌入学习中。一个潜在的假设是，来自高阶邻居的协作信号有利于嵌入学习。然而，并非所有来自高阶邻居的信息在现实中都是积极的。在用户-项目交互图中，高阶相邻用户可能与目标用户没有共同甚至矛盾的兴趣。这是非常可能的，特别是当图表是基于隐式反馈(例如，点击)构建的时候。事实上，在现代推荐系统中，隐式反馈比显式反馈被更广泛地使用。协作过滤背后的核心理念是相似的用户喜欢相似的项目。因此，我们想要利用的协作信号应该来自相似的用户(即兴趣相似的用户)。然而，现有的基于GCN的推荐模型并没有区分高阶邻居，而只是简单地聚合所有这些邻居的消息来更新用户嵌入。因此，不同用户的嵌入也会参与到目标用户的嵌入学习中，从而对性能产生负面影响。这也是基于GCN的推荐模型中过度平滑效应的一个原因–使得不同用户的嵌入是相似的。

基于上述考虑，本文提出了一种新的兴趣感知消息传递GCN推荐模型(IMP-GCN)，该模型将用户及其交互项目分组到不同的子图中，并在子图中进行高阶图卷积运算。更具体地说，我们采用了LightGCN的简化网络结构，因为它的有效性已经在[14]中得到了很好的证明，并且它可以在一定程度上缓解过平滑问题。一阶图卷积与LightGCN的卷积相同。**对于高阶图卷积，只利用来自同一子图中节点的消息来学习节点嵌入。子图由提出的图生成模块生成，该模块结合用户特征和图结构来识别具有相似兴趣的用户，然后通过保留这些用户及其交互项来构造子图。**为此，我们的模型可以过滤掉高阶图卷积运算中的负面信息传播进行嵌入学习，从而通过堆叠更多的图卷积层来保持用户的唯一性。在三个大规模的真实数据集上进行了大量的实验，以验证该模型的有效性。结果表明，我们的模型比现有的方法有很大的优势，并且在更多的层(直到7层)的情况下可以获得更好的性能1。这表明我们的模型可以通过排除负节点而受益于更高阶的邻居。此外，通过对结果的深入分析，我们发现嵌入传播中的负面信息是现有的基于GCN的深层次推荐模型性能下降的主要原因。我们发布了代码和相关的参数设置，以方便其他人重复此工作2。

综上所述，本工作的主要贡献如下：

• 针对现有基于GCN的推荐模型中存在的过度平滑问题，指出了一个被忽视的因素：不分青红皂白地利用高阶邻居，使得兴趣不同的用户嵌入相似。
• 我们提出了一种IMP-GCN模型，该模型利用来自同一子图的高阶邻居，其中用户节点与其他子图中的用户节点具有更多相似的兴趣。实践证明，该算法对缓解过平滑问题是有效的。
• 我们设计了一个子图生成模块，通过考虑用户特征和图的结构信息，对用户进行分组，并从用户-项目二部图生成子图。
• 我们在三个基准数据集上对所提出的IPM-GCN模型进行了实证研究。结果表明，IPMGCN可以通过层叠更多的层和学习更好的用户/项目嵌入来获得改进，从而比基于Sota GCN的推荐模型有更大的优势。

2 METHODOLOGY

2.1 Recap

将上述信息作为GCN模型的输入，通过迭代聚合二部图中相邻节点的特征来学习用户和项目表示。
这里我们以LightGCN为例来描述基于GCN的推荐模型，因为它以非常轻巧的设计实现了最先进的性能。我们的模型也是在其设计的基础上开发的。


$N_u$:与用户U交互的项目集， N i N_{i}