推荐系统论文阅读总结:ICLR 2023 LightGCL 简单且高效的图对比学习推荐系统

 代码：GitHub - HKUDS/LightGCL: [ICLR'2023] "LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation"

论文：https://arxiv.org/abs/2302.08191

 港大的黄超老师和夏哥（写了很多推荐系统的论文，例如CML），代码阅读正在路上。

1 摘要

图神经网络(GNN)是基于图的推荐系统的一种强大的学习方法。近年来，结合对比学习的gnn在推荐数据增强方案方面表现出了优异的性能，其目标是处理高度稀疏的数据。尽管它们取得了成功，但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如，节点/边缘扰动)，要么依赖于基于启发式的增强技术(例如，用户聚类)来生成对比视图。我们认为这些方法不能很好地保留固有的语义结构，并且容易受到噪声干扰的影响。在本文中，我们提出了一个简单而有效的图对比学习范式LightGCL，它减轻了这些问题，提升了基于对比学习的推荐的通用性和鲁棒性。该模型专门利用奇异值分解进行对比增强。

---

2 以往研究存在的问题

虽然对比学习已被证明在提高基于图的推荐方法的性能方面是有效的，但视图生成器通过识别准确的对比样本作为数据增强的核心部分。目前大多数图对比学习(GCL)方法都使用基于启发式的对比视图生成器来最大化输入正对之间的互信息，并推开负对。尽管它们很有效，但最先进的对比推荐系统存在几个固有的局限性:

1)随机扰动的图增强可能会失去有用的结构信息，从而误导表征学习。

2)启发式引导表示对比方案的成功很大程度上建立在视图生成器的基础上，这限制了模型的通用性，并且容易受到噪声用户行为的影响。

3)目前大多数基于gnn的对比推荐受到过度平滑问题的限制，导致无法区分的表示。

---

3 贡献

鉴于上述限制和挑战，我们重新审视了图对比学习范式，并提出了一种简单而有效的增强方法LightGCL。在我们的模型中，通过奇异值分解(SVD)来引导图的增强，不仅提取了用户-物品交互的有用信息，而且将全局协作上下文注入到对比学习的表示一致性中。而不是生成两个人工制作的增强视图，用户-项目交互的重要语义可以很好地保留与我们的鲁棒图对比学习范式。这使我们的自增强表示能够反映用户特定的偏好和跨用户的全局依赖关系。

1在本文中，通过设计一个轻量级和鲁棒的图对比学习框架来增强推荐系统，以解决与此任务相关的已确定的关键挑战。

2我们提出了一种有效且高效的对比学习范式LightGCL用于图增强。通过注入全局协作关系，该模型可以缓解对比信号不准确带来的问题。

---

 4 方法

4.1 局部图依赖关系建模

每个用户Ui和项目Vj分配一个嵌入向量E(u) i, E(v) j∈Rd，其中d为嵌入大小。所有用户嵌入和项目嵌入的集合定义为E(u)∈RI×d, E(v)∈RJ×d，其中I为用户个数，J为项目个数。采用两层GCN对每个节点的相邻信息进行聚合。在第一层中，聚合过程表示为:

其中和表示用户和商品在第l层聚合的嵌入. 是激活函数LeakyReLU. 是标准化的邻接矩阵，对边进行dropout操作 缓解过拟合问题，然后进行迭代聚合操作生成GCN最终的用户和物品的嵌入，并内积生成预测y： 

4.2 高效的全局协作关系学习

为了使图对比学习与全局结构学习相结合，LightGCL使用SVD（奇异值分解）从全局角度有效地提取重要的协作信号。具体来说，首先对归一化邻接矩阵执行SVD，即。这里，U / V是一个I × I / J × J标准正交矩阵，列是的行-行/列-列相关矩阵的特征向量。S是一个I × J的对角矩阵，用于存储的奇异值。最大的奇异值通常与矩阵的主成分有关。因此，我们截断奇异值列表以保留最大的q值，并用截断矩阵重构邻接矩阵，其中Uq和Vq分别包含U和V的前q列。Sq是第q个最大奇异值的对角矩阵。

重构矩阵是归一化邻接矩阵的低秩近似，因为它保持秩(A) = q。基于svd的图结构学习的优点有两方面。首先，它通过识别对用户偏好表示重要且可靠的用户-项目交互来强调图的主要成分。其次，生成的新图结构通过考虑每个用户-项目对来保持全局协同信号。给定，我们在每层重构的用户-项目关系图上进行消息传播：

 然而，在大型矩阵上执行精确的SVD是非常昂贵的，这使得处理大规模的用户物品矩阵变得不切实际。因此，我们采用Halko等(2011)提出的随机化SVD算法，其关键思想是首先用一个低秩的标准正交矩阵近似输入矩阵的值域，然后对这个较小的矩阵进行SVD：

 q 是分解后矩阵的秩，是的近似。 因此，我们使用近似矩阵和embedding的整体表示重写GCN中消息传播规则:

其中是从经过svd新生成的图结构编码的用户和商品嵌入的集合。 存储低维的 而无需计算和存储大的密集矩阵。

 4.3 传统的局部全局对比学习方法

传统的GCL方法，如SGL和SimGCL，通过构造两个额外的视图来对比节点嵌入，而从原始图(主视图)生成的嵌入并不直接涉及InfoNCE损失。采用这种繁琐的三视图范式的原因可能是用于增强图的随机扰动可能会为主视图嵌入提供误导性信号。然而，在我们提出的方法中，通过全局协作关系创建增强图视图，可以增强主视图的表示。因此，我们通过直接对比svd增强视图嵌入与InfoNCE损失中的主视图嵌入简化对比学习框架:

在得到用户和物品的对比损失以后，和主要的目标函数进行joint loss：

 5 总结

本文提出了一种简单有效的增强图对比学习框架的推荐方法。具体来说，我们探索了使奇异值分解足够强大以增强用户-项目交互图结构的关键思想。我们的主要研究结果表明，我们的图增强方案具有很强的抗数据稀疏性和流行偏差的能力。大量的实验表明，我们的模型在几个公共评估数据集上取得了新的最先进的结果。

---

与传统图对比学习中从原始图新增两个视图的方法相比，Lightgcl对原始图进行随机SVD的方法。