LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

ABSTRACT

  1. 背景
    图卷积网络(GCN)在协同过滤中的应用
    图卷积网络(GCN)已成为协同过滤(collaborative filtering)的新的技术前沿。协同过滤是推荐系统中的一种常见方法,它基于用户的历史行为数据(如购买记录、评分等)来预测用户对未交互物品的偏好。GCN 在这一领域取得了很好的效果。
    然而,目前对于 GCN 在推荐任务中有效的原因还没有很好地理解。现有的将 GCN 应用于推荐的工作,缺乏对 GCN 本身深入的消融分析(ablation analyses)。GCN 最初是为图分类任务设计的,并且配备了许多神经网络操作。
  2. 问题发现
    在 GCN 用于协同过滤时,有两个常见的设计 —— 特征变换(feature transformation)和非线性激活(non - linear activation),但通过实验发现这两个设计对协同过滤的性能贡献很小。
    更糟糕的是,这两个设计增加了训练的难度,并且会降低推荐性能。
  3. 解决方案
    提出了一种新的模型 LightGCN,目的是简化 GCN 的设计,使其更简洁且更适合推荐任务。
    LightGCN 只保留了 GCN 中最核心的部分 —— 邻域聚合(neighborhood aggregation)用于协同过滤。具体来说,LightGCN 通过在线性传播用户 - 物品交互图上学习用户和物品嵌入(embeddings),并将所有层学习到的嵌入的加权和作为最终嵌入。
  4. 实验结果
    这种简单、线性和整洁的模型更容易实现和训练,在相同的实验设置下,与神经图协同过滤(Neural Graph Collaborative Filtering,NGCF,一种基于 GCN 的先进推荐模型)相比,平均有大约 16.0% 的相对性能提升。
    还从分析和实验角度对简单的 LightGCN 的合理性进行了进一步分析。
  5. 代码实现
    作者提供了基于 TensorFlow 和 PyTorch 的实现。
    1 https://github.com/kuandeng/LightGCN
    2 https://github.com/gusye1234/pytorch- light- gcn
    KEYWORDS :Collaborative Filtering, Recommendation, Embedding Propagation, Graph Neural Network

1 INTRODUCTION

  1. 推荐系统的背景与协同过滤的重要性
    缓解网络信息过载:随着网络信息的海量增长,信息过载问题愈发严重。为了缓解这一问题,推荐系统被广泛应用,其目的是进行个性化的信息过滤,帮助用户从海量信息中获取他们可能感兴趣的内容。相关参考文献 [7, 45, 46] 也对推荐系统在这方面的应用有所提及。
    推荐系统核心任务:推荐系统的核心在于预测用户是否会与某个物品产生交互行为,比如点击、评分、购买等各种形式的交互。而协同过滤(CF)在实现有效个性化推荐方面起着基础性的作用,它着重利用过去用户与物品的交互历史来进行相关预测,这一理念在众多参考文献 [10, 19, 28, 39] 中也得到了体现。
    协同过滤的常见范式:协同过滤最常见的做法是学习潜在特征(也就是嵌入,embedding)来表示用户和物品,然后基于这些嵌入向量进行预测,像参考文献 [6, 19] 中所描述的那样。早期的矩阵分解模型就是这样的例子,它直接将用户的单一标识(ID)映射为对应的嵌入向量,比如参考文献 [26] 中的相关研究。
  2. 利用用户交互历史改进嵌入质量的相关研究
    基于交互历史的改进尝试:后续有多项研究发现,把用户的交互历史与用户 ID 一起作为输入,可以提升嵌入的质量。例如,SVD++ [25] 展示了用户交互历史在预测用户数值评分方面的优势;Neural Attentive Item Similarity(NAIS) [18] 则区分了交互历史中不同物品的重要性,并在预测物品排名方面体现出了改进效果。
    从图结构角度看待改进:从用户 - 物品交互图的视角来看,这些改进可以理解为是利用了用户的子图结构,更确切地说是利用了用户的一阶邻居(one-hop neighbors)来优化嵌入学习的过程。为了进一步深入利用包含高阶邻居(high-hop neighbors)的子图结构,Wang 等人 [39] 近期提出了 NGCF(Neural Graph Collaborative Filtering),并在协同过滤方面取得了前沿的性能表现。NGCF 从图卷积网络(GCN) [14, 23] 中获取灵感,遵循同样的传播规则(包括特征变换、邻域聚合以及非线性激活)来优化嵌入向量。
  3. NGCF 存在的问题及验证
    设计的弊端:尽管 NGCF 取得了不错的成果,但作者认为它的设计过于复杂和累赘。因为它的很多操作是直接从 GCN 继承而来,却没有足够的合理性依据,所以这些操作对于协同过滤任务来说不一定有用。具体而言,GCN 最初是为属性图(attributed graph)上的节点分类任务而提出的,在属性图中每个节点都有丰富的属性作为输入特征;然而在协同过滤的用户 - 物品交互图里,每个节点(无论是用户还是物品)仅仅是用独热编码(one-hot ID)来描述,除了作为一个标识符外并没有具体的语义信息。
    通过消融实验验证:在这种情况下,以 ID 嵌入作为输入时,执行现代神经网络成功的关键操作 —— 多层非线性特征变换,不但没有好处,反而会增加模型训练的难度。为了验证这一想法,作者对 NGCF 进行了大量的消融实验,通过在相同的数据划分和评估协议下进行严格的对照实验,得出结论:从 GCN 继承过来的两个操作 —— 特征变换和非线性激活,对 NGCF 的有效性并没有积极贡献。更令人惊讶的是,去掉这两个操作后,模型的准确率反而有了显著提升。这反映出在图神经网络中添加对目标任务无用的操作所带来的问题,不仅没有益处,还会降低模型的效果。
  4. LightGCN 模型的提出及特点
    模型核心与思路:基于上述实证发现,作者提出了一个名为 LightGCN 的新模型,该模型只包含了 GCN 中最核心的部分 —— 邻域聚合,用于协同过滤任务。具体做法是,在为每个用户(或物品)关联一个 ID 嵌入之后,在用户 - 物品交互图上传播这些嵌入向量来对其进行优化。
    最终嵌入生成与优势:接着将在不同传播层学到的嵌入向量通过加权求和的方式组合起来,以此获得用于预测的最终嵌入向量。整个 LightGCN 模型简单且优雅,不仅更易于训练,而且在实际性能表现上比 NGCF 以及像 Mult-VAE [28] 这样的其他前沿方法还要好。
  5. 论文的主要贡献总结
    揭示 GCN 操作对协同过滤的影响:
    通过实验实证表明,GCN 中的两个常见设计 —— 特征变换和非线性激活,对协同过滤的有效性没有积极作用。
    提出简化模型设计的 LightGCN:提出了 LightGCN 模型,通过只选取 GCN 中对于推荐任务最关键的组件,极大地简化
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Swee1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值