LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation-CSDN博客

本文链接：https://blog.csdn.net/m0_52545077/article/details/144492761

ABSTRACT

背景
图卷积网络（GCN）在协同过滤中的应用
图卷积网络（GCN）已成为协同过滤（collaborative filtering）的新的技术前沿。协同过滤是推荐系统中的一种常见方法，它基于用户的历史行为数据（如购买记录、评分等）来预测用户对未交互物品的偏好。GCN 在这一领域取得了很好的效果。
然而，目前对于 GCN 在推荐任务中有效的原因还没有很好地理解。现有的将 GCN 应用于推荐的工作，缺乏对 GCN 本身深入的消融分析（ablation analyses）。GCN 最初是为图分类任务设计的，并且配备了许多神经网络操作。
问题发现
在 GCN 用于协同过滤时，有两个常见的设计 —— 特征变换（feature transformation）和非线性激活（non - linear activation），但通过实验发现这两个设计对协同过滤的性能贡献很小。
更糟糕的是，这两个设计增加了训练的难度，并且会降低推荐性能。
解决方案
提出了一种新的模型 LightGCN，目的是简化 GCN 的设计，使其更简洁且更适合推荐任务。
LightGCN 只保留了 GCN 中最核心的部分 —— 邻域聚合（neighborhood aggregation）用于协同过滤。具体来说，LightGCN 通过在线性传播用户 - 物品交互图上学习用户和物品嵌入（embeddings），并将所有层学习到的嵌入的加权和作为最终嵌入。
实验结果
这种简单、线性和整洁的模型更容易实现和训练，在相同的实验设置下，与神经图协同过滤（Neural Graph Collaborative Filtering，NGCF，一种基于 GCN 的先进推荐模型）相比，平均有大约 16.0% 的相对性能提升。
还从分析和实验角度对简单的 LightGCN 的合理性进行了进一步分析。
代码实现
作者提供了基于 TensorFlow 和 PyTorch 的实现。
1 https://github.com/kuandeng/LightGCN
2 https://github.com/gusye1234/pytorch- light- gcn
KEYWORDS :Collaborative Filtering, Recommendation, Embedding Propagation, Graph Neural Network

1 INTRODUCTION

推荐系统的背景与协同过滤的重要性
缓解网络信息过载：随着网络信息的海量增长，信息过载问题愈发严重。为了缓解这一问题，推荐系统被广泛应用，其目的是进行个性化的信息过滤，帮助用户从海量信息中获取他们可能感兴趣的内容。相关参考文献 [7, 45, 46] 也对推荐系统在这方面的应用有所提及。
推荐系统核心任务：推荐系统的核心在于预测用户是否会与某个物品产生交互行为，比如点击、评分、购买等各种形式的交互。而协同过滤（CF）在实现有效个性化推荐方面起着基础性的作用，它着重利用过去用户与物品的交互历史来进行相关预测，这一理念在众多参考文献 [10, 19, 28, 39] 中也得到了体现。
协同过滤的常见范式：协同过滤最常见的做法是学习潜在特征（也就是嵌入，embedding）来表示用户和物品，然后基于这些嵌入向量进行预测，像参考文献 [6, 19] 中所描述的那样。早期的矩阵分解模型就是这样的例子，它直接将用户的单一标识（ID）映射为对应的嵌入向量，比如参考文献 [26] 中的相关研究。
利用用户交互历史改进嵌入质量的相关研究
基于交互历史的改进尝试：后续有多项研究发现，把用户的交互历史与用户 ID 一起作为输入，可以提升嵌入的质量。例如，SVD++ [25] 展示了用户交互历史在预测用户数值评分方面的优势；Neural Attentive Item Similarity（NAIS） [18] 则区分了交互历史中不同物品的重要性，并在预测物品排名方面体现出了改进效果。
从图结构角度看待改进：从用户 - 物品交互图的视角来看，这些改进可以理解为是利用了用户的子图结构，更确切地说是利用了用户的一阶邻居（one-hop neighbors）来优化嵌入学习的过程。为了进一步深入利用包含高阶邻居（high-hop neighbors）的子图结构，Wang 等人 [39] 近期提出了 NGCF（Neural Graph Collaborative Filtering），并在协同过滤方面取得了前沿的性能表现。NGCF 从图卷积网络（GCN） [14, 23] 中获取灵感，遵循同样的传播规则（包括特征变换、邻域聚合以及非线性激活）来优化嵌入向量。
NGCF 存在的问题及验证
设计的弊端：尽管 NGCF 取得了不错的成果，但作者认为它的设计过于复杂和累赘。因为它的很多操作是直接从 GCN 继承而来，却没有足够的合理性依据，所以这些操作对于协同过滤任务来说不一定有用。具体而言，GCN 最初是为属性图（attributed graph）上的节点分类任务而提出的，在属性图中每个节点都有丰富的属性作为输入特征；然而在协同过滤的用户 - 物品交互图里，每个节点（无论是用户还是物品）仅仅是用独热编码（one-hot ID）来描述，除了作为一个标识符外并没有具体的语义信息。
通过消融实验验证：在这种情况下，以 ID 嵌入作为输入时，执行现代神经网络成功的关键操作 —— 多层非线性特征变换，不但没有好处，反而会增加模型训练的难度。为了验证这一想法，作者对 NGCF 进行了大量的消融实验，通过在相同的数据划分和评估协议下进行严格的对照实验，得出结论：从 GCN 继承过来的两个操作 —— 特征变换和非线性激活，对 NGCF 的有效性并没有积极贡献。更令人惊讶的是，去掉这两个操作后，模型的准确率反而有了显著提升。这反映出在图神经网络中添加对目标任务无用的操作所带来的问题，不仅没有益处，还会降低模型的效果。
LightGCN 模型的提出及特点
模型核心与思路：基于上述实证发现，作者提出了一个名为 LightGCN 的新模型，该模型只包含了 GCN 中最核心的部分 —— 邻域聚合，用于协同过滤任务。具体做法是，在为每个用户（或物品）关联一个 ID 嵌入之后，在用户 - 物品交互图上传播这些嵌入向量来对其进行优化。
最终嵌入生成与优势：接着将在不同传播层学到的嵌入向量通过加权求和的方式组合起来，以此获得用于预测的最终嵌入向量。整个 LightGCN 模型简单且优雅，不仅更易于训练，而且在实际性能表现上比 NGCF 以及像 Mult-VAE [28] 这样的其他前沿方法还要好。
论文的主要贡献总结
揭示 GCN 操作对协同过滤的影响：
通过实验实证表明，GCN 中的两个常见设计 —— 特征变换和非线性激活，对协同过滤的有效性没有积极作用。
提出简化模型设计的 LightGCN：提出了 LightGCN 模型，通过只选取 GCN 中对于推荐任务最关键的组件，极大地简化