LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CON-TRASTIVE LEARNING FOR RECOMMENDATION论文笔记

摘要

介绍了一种用于基于图的推荐系统的图神经网络（GNN）方法，结合了对比学习（Contrastive Learning, CL）来提高对稀疏数据的处理能力。下面我会详细解释这段内容：

1.背景介绍：

• • 图神经网络（GNN）：这是一种特别适用于处理图数据（如社交网络、知识图谱、推荐系统中的用户-物品交互）的深度学习方法。GNN能够捕捉节点间的复杂关系，并为每个节点生成高质量的嵌入向量（embeddings）。
  • 基于图的推荐系统：在这些系统中，用户和物品被视为图中的节点，用户与物品之间的交互（如评分、购买）被视为边。GNN可以用来预测用户可能感兴趣的新物品。

2.图对比学习（Graph Contrastive Learning）：

• • 对比学习：这是一种无监督的学习方法，通过比较正负样本来学习数据的表示。在图数据中，这通常涉及生成图的不同“视图”（即数据增强的版本），并让模型学习区分这些视图。
  • 数据稀疏性问题：在推荐系统中，用户-物品交互往往非常稀疏，这意味着大多数用户只与很少的物品有交互，这使得学习难度增加。

3.现有方法的局限性：

• • 随机增强：许多现有的方法通过随机扰动节点或边来生成对比视图，但这种方法可能会破坏图的内在语义结构，并且容易受到噪声的影响。
  • 启发式增强：另一些方法依赖于基于启发式的增强技术（如用户聚类），这些技术可能不够通用，且容易受到特定数据集特性的影响。

4.提出的方法 - LightGCL：

• • 奇异值分解（Singular Value Decomposition, SVD）：作者提出了一种名为LightGCL的新颖图对比学习范式，它通过使用SVD来进行对比增强。SVD是一种线性代数技术，可以分解矩阵并提取其主要成分，这在这里用来提炼用户-物品交互图的全局协作关系。
  • 结构细化与全局建模：通过SVD，LightGCL能够在不受限制的情况下对结构进行精细化，并且能够模拟全局的协作关系，这可能有助于更好地保留图的语义结构。

5.实验结果：

• • 作者声称，在多个基准数据集上进行的实验表明，LightGCL在性能上显著优于当前最先进的方法。
  • 此外，进一步的分析显示LightGCL在对抗数据稀疏性和流行度偏见方面具有更好的鲁棒性。

6. 理解总结：

1. 1. 由对比学习原理可以知道，需要对原始图数据进行数据增强操作，生成新的重建图数据，也就是构建另一个视图，这样两个视图中可以取对应节点(数据增强过程中对应的节点)对作为正样本对，取不对应节点对作为负样本对，将这些正负样本对学习到的嵌入表示输入对比学习损失函数中，使得正样本对的嵌入表示更相似，负样本对的嵌入表示不相似，从而学习到图中点的高阶信息；
   2. 其中最重要的就是对原始图数据的数据增强操作，也就是生成其它视图的操作；其它模型可能存在一些方法，如随机丢弃节点、随机丢弃边、加入噪声、特征掩码等等操作，但这种方法可能会破坏图的内在语义结构，并且容易受到噪声的影响。
   3. 作者提出了一种名为LightGCL的新颖图对比学习范式，它通过使用SVD来进行对比增强。SVD是一种线性代数技术，可以分解矩阵并提取其主要成分，这在这里用来提炼用户-物品交互图的全局协作关系。通过SVD，LightGCL能够在不受限制的情况下对结构进行精细化，并且能够模拟全局的协作关系，这可能有助于更好地保留图的语义结构。
   4. 因此本文主要理解SVD进行对比增强的原理，以及其能够实现注入全局协作关系的原理；

一、引言

当谈到图推荐方法时，对比学习已被证明是提升性能的有效手段。其中，视图生成器作为数据增强的核心部分，通过识别准确的对比样本发挥着关键作用。在当前的图对比学习（GCL）方法中，许多采用基于启发式的对比视图生成器，以最大化输入正样本对之间的互信息，并将负实例推开。为了构建扰动视图：

• SGL提出了通过随机扩充策略，如节点丢失和边扰动，破坏用户-物品交互图的结构信息来生成正视图的节点对。
• 为改进推荐中的图对比学习，SimGCL（Yu等人，2022a）引入了使用随机噪声扰动的嵌入增强。
• 为了识别节点（用户和物品）的语义邻居，引入了HCCF和NCL，以追求结构上相邻节点与语义邻居之间的一致表示。

尽管这些方法有效，但目前最先进的图对比推荐系统存在一些固有限制：

• 使用随机扰动如节点丢弃和边扰动进行图扩充可能会导致有用的结构信息丢失，从而误导表示学习。（容易理解）
• 启发式引导的表示对比方案的成功很大程度上建立在视图生成器上，这限制了模型的通用性，并容易受到嘈杂用户行为的影响。 （基于经验或规则的启示，不同任务的经验规则不通用）
• 大多数当前基于图神经网络的对比推荐器受到过度平滑问题的限制，导致表示难以区分。（GNN在处理图数据时，往往通过聚合邻居节点的信息来更新每个节点的表示。然而，当网络层数较多时，信息传递可能过于平滑，导致相邻节点的表示趋于相似。这就是所谓的"过度平滑问题"，即深层次的表示变得难以区分，节点之间的差异性减弱。）

针对上面提出来的图对比学习中存在的问题，本文提出来LightGCL方法：

1.图增强方法：

• • LightGCL 使用奇异值分解（SVD）引导图增强，以提取用户-物品交互的有用信息，并将全局协同上下文注入对比学习的表示中。由此生成一个图对比视图；
  • 与手工生成两个对比视图不同，LightGCL 提出的图对比学习范式能够很好地保留用户-物品交互的重要语义，从而更为健壮。

2. 自我增强的表示：

• • LightGCL 的自我增强表示反映了用户特定偏好和跨用户全局依赖关系，通过对比学习获得更有表现力的表示。

3. 主要贡献：

• • 设计了轻量且强大的图对比学习框架，以增强推荐系统。
  • 提出了有效且高效的对比学习范式 LightGCL，通过注入全局协同关系来缓解由不准确对比信号引起的问题。
  • LightGCL 方法在训练效率上表现出优势。
  • 在多个真实世界数据集上进行了广泛实验证明了 LightGCL 的性能卓越性，深入分析展示了 LightGCL 的合理性和鲁棒性。

二、相关工作

2.1 Graph Contrastive Learning for Recommendation.

• SGL 和 SimGCL 的方法：它们通过在图结构和嵌入中进行随机丢弃操作来执行数据增强，以生成视图来构建对比样本对。然而，这种随机的增强可能导致丢失重要信息，从而加剧不活跃用户的稀疏性问题。
• HCCF 和 NCL的方法：采用基于启发式的策略来构建用于嵌入对比的视图。尽管它们是有效的，但它们的成功很大程度上依赖于其内嵌的启发式方法（例如超边或用户群集的数量）来生成对比视图，这使得很难适应不同的推荐任务。

2.2 Self-Supervised Learning on Graphs.（不重要）

最近，自监督学习已经推动了图学习的范式，通过从未标记的图数据中增强节点表示。这些研究包括 AutoSSL、SimGRACE、AutoGCL、GCA 和 GraphCL

• AutoSSL方法：通过自动组合多个预训练任务来改进预测性自监督学习范例。
• SimGRACE 提出使用图神经网络（GNN）编码器的扰动生成对比视图。
• AutoGCL 中，图视图生成器与图编码器联合训练，以端到端的方式进行。
• GCA 执行拓扑层次和属性层次的数据增强，以生成对比视图。该方法能够识别重要的边和特征，用于自适应增强。
• GraphCL 使用各种增强策略，如节点/边扰动和属性屏蔽，生成相关的图表示视图。

三、LightGCL

3.1 模型结构

理解：上图为一个对比学习框架，将原始用户-物品二部图通过SVD数据增强操作进行重建，构成新的对比视图；这个SVD数据增强操作在原始图中注入了全局协同信息；将两个视图中的节点样本各自输入GCNs中进行信息聚合操作，生成两个视图中各个节点的嵌入表示；然后在这两个视图中构建正负样本对输入到损失函数中；损失函数由推荐损失和对比损失组成，推荐损失使得生成的嵌入表示推荐性能更好；对比损失使得正样本对之间的表示更加相似，负样本表示不相似，从而能够学习到节点的高阶信息；（本文中认为，原始图数据聚合后有自己的局部信息，数据增强后的图数据经过数据聚合后有全局协作信息，再将这两个视图进行对比学习就可以融合局部信息和全局协作信息，最终学好的嵌入表示有着很好的推荐性能！！！）

3.2 图局部依赖关系建模（应该是对原始图数据进行信息聚合操作学习到局部嵌入表示，这里用GCN实现）

常见的协同过滤操作：

1. 用户和物品的嵌入表示：

• • 每个用户 i 有连接的物品；
  • 总结理解：除了对比损失，另外引入了推荐损失，这个推荐损失只使用主视图，也就是原始图聚合后的节点表示计算；计算每对有连接的用户和物品之间的推荐值，以及计算每对没有连接的用户和物品之间的推荐值，输入推荐损失，分别作为正反馈和负反馈；这样就是以优化参数使得有连接的用户和物品之间的推荐值更大；由此，可以使得原始图嵌入的学习不仅学习到了高阶信息，还有利于推荐系统；

5. 防止过拟合的措施：

• • 为了防止过拟合，作者在每个批次中实施了随机节点丢失，从而排除了一些节点参与对比学习过程。

综上所述，作者提出的方法通过直接对比SVD增强的图视图嵌入与原始图的主视图嵌入，简化了对比学习框架，并通过联合优化对比损失和推荐任务的目标函数来提高性能。同时，采用了防止过拟合的措施，即随机节点丢失。

四、评估

1. RQ1：相对于各种SOTA基线，LightGCL在不同数据集上的表现如何？
2. RQ2：轻量级图对比学习如何提高模型效率？
3. RQ3：我们的模型在面对数据稀疏性、流行度偏见和过度平滑时的表现如何？
4. RQ4：局部-全局对比学习如何对我们的模型性能做出贡献？
5. RQ5：不同参数设置对我们的模型性能有何影响？

4.1 RQ1 性能验证

实验性能对比

我们在表1中总结了实验结果，得出以下观察和结论：

• 对比学习的统治地位：从表中可以看出，最近实施对比学习（SGL、HCCF、SimGCL）的方法相对于传统的基于图的方法（GCCF、LightGCN）或基于超图的方法（HyRec）表现出持续的优越性。它们还优于一些其他自监督学习方法（MHCN）。这可以归因于对比学习学习均匀分布嵌入的有效性。
• 对比学习的增强效果：我们的方法始终优于所有对比学习基线。我们将这种性能改善归因于通过注入全局协作背景信号对图对比学习进行有效增强。与其他对比学习基础推荐系统（例如SGL、SimGCL和HCCF）相比，它们容易受到嘈杂的交互信息的影响，并产生误导性的自监督信号。

4.2 RQ2 效率研究

复杂度对比研究

GCL（图对比学习）模型在训练过程中由于构建额外视图并在其上执行卷积操作而导致计算成本高昂。然而，SVD 重建图的低秩特性和简化的 CL 结构使得我们的 LightGCL 训练非常高效。我们通过与三个竞争基线的比较，在表2中总结了我们模型的预处理和每批次训练的复杂性。

• 尽管我们的模型需要在预处理阶段执行 SVD，这需要 O(qE) 的时间，但与训练阶段相比，计算成本可以忽略不计，因为它只需要执行一次。事实上，通过将对比视图的构建移到预处理阶段，我们避免了在训练过程中重复进行图增强，从而提高了模型的效率。
• 传统的 GCN 方法（例如 LightGCN）只对一个图执行卷积，每批次的复杂性为 O(2ELd)。对于大多数基于 GCL 的方法，每批次计算三个对比视图，导致复杂性大致是 LightGCN 的三倍。而在我们的模型中，只涉及两个对比视图。此外，由于基于 SVD 的图结构学习具有低秩属性，我们的图编码器只需花费 O[2q(I + J)Ld] 的时间。对于大多数数据集，包括我们使用的五个数据集，有 2q(I + J) < E。因此，我们模型的训练复杂性不到 SOTA 高效模型 SimGCL 的一半。

理解总结：

• 传统GCL模型计算时候需要涉及到三个视图，即原始主视图用于计算推荐损失，额外两个视图用来构建正负样本对进行对比训练任务；这三个视图都要输入GCNs进行卷积计算；而LightGCL只设计两个视图(原因在前文有解释，主要是SVD数据增强不会误导对比训练)；
• 一些传统GCL模型的数据增强操作是对原始图数据进行随机节点丢弃或者边丢弃操作，是在训练过程中进行图增强操作；而LightGCL使用SVD数据增强操作，可以在训练过程前的预处理阶段先对邻接矩阵进行奇异值分解，直接就构建好了增强视图，训练阶段对这两个视图进行卷积操作，再对比学习即可，提高了模型效率；

4.3 RQ3 抵抗数据稀疏性和流行性偏见

4.3.1 抵抗数据稀疏性

如图，将Yelp数据集和Gowalla数据集按照数据的稀疏程度将数据集分为5个组，将三个模型分别在这个5个组中进行性能比较，发现LightGCL在不同稀疏程度的数据集合中的表现更加稳定！

4.3.2 抵抗流行性偏见

流行度偏差（Popularity Bias）是指在推荐系统中，一些物品因为它们本身的流行度（被用户喜欢或者选择的频率高）而更容易被推荐给用户，而一些不那么流行的物品则相对被忽视。这种偏差可能导致推荐系统更倾向于推荐热门物品，而忽略了用户可能对于冷门或长尾物品(只关注度较低的物品)的兴趣。

同样按照物品的互动程度作为指标来衡量武平的受欢迎程度，将数据集分为5个小组，在这5个部分的数据集上进行性能比较，可以发现HCCF和SimGCL的性能在受到流行度偏差影响时波动较大。我们的模型在大多数情况下表现更好，表明其对抗流行度偏差的能力。（请注意，由于在Gowalla中，极度稀疏的组（<15次互动）明显大于图中其他组，它们对Recall@20贡献了很大一部分，导致趋势与图中Yelp的趋势不同。）

4.4 RQ3 过度平滑和过度冗余之间的平衡

我们将各个模型最终生成的用户节点嵌入各随机抽取200个降维到二维平面，由于这些用户节点嵌入也聚合到了与其交互的物品信息，所以用户节点嵌入可以表示一定的用户的交互模式；将他们降维到二维平面可以考虑到各个用户之间的区分度以及聚集情况；

1. 非对比学习方法： 例如 LightGCN 和 MHCN，它们的嵌入分布在二维空间中显示出难以区分的聚类，表明这些方法难以解决过度平滑的问题。

2. 对比学习方法： 例如 SGL 学到的嵌入分布呈现出均匀分布，而 SimGCL 学到的嵌入则显示出分散的小聚类，这表明这些方法在处理过度平滑问题时存在一些困难。（均匀分布的表示可能会导致节点在整个空间中分散得相对均匀，难以在嵌入空间中形成明显的聚类或社区结构，从而使得模型在学习图结构时失去了一些细节和区分性。小聚类同理，没有明显的社区结构，问题是LightGCL的Gowalla数据集的嵌入表示也像均匀分布啊！）

3. LightGCL 方法： 作者的方法显示出清晰的社区结构，能够捕捉用户之间的协同关系。嵌入在每个社区内部分散，能够反映用户特定的偏好。

• • 清晰的社区结构： 社区结构是指图中节点之间形成的群组或簇。在作者的方法中，学习到的表示使得图中的节点被划分为清晰可辨的社区。这意味着具有相似特征或相互之间有协同关系的节点被分到了同一个社区中，形成了更具结构性的组织。
  • 社区内部嵌入分散： 在每个社区内部，学习到的节点表示是分散的。这表示社区内的节点并非严格相同，而是能够反映用户特定的偏好。换句话说，社区内部的节点表示不是过度平滑的，而是保留了足够的差异性，以更好地捕捉用户个性化的特征和偏好。

4. 总结理解：过度平滑问题是指学习到的节点表示趋于相似，例如多层GCN聚合到最后容易导致节点表示逐渐趋同；因此处理过度平滑问题良好的模型的的节点嵌入应当是分散而可区分的；观察非对比学习方法可以发现，这些节点聚集在一起不可区分，因此无法解决过度平滑问题；而传统对比学习方法的节点表示分布的比较均匀或者是有很多的小聚类，这表明没有形成明显的聚类或社区结构，从而使得模型在学习图结构时失去了一些细节和区分性（不敢苟同）；而LightGCL方法的节点表示既显示出了清晰的社区结构，每个社区内的节点又分散（不敢苟同，第二个数据集的LighGCL表现的明明也是均匀的分布或者是小的分散的聚类结构）；

4.5 RQ4 局部-全局对比学习对模型的性能有何贡献（消融分析）

为了调查我们基于 SVD 的图增强方案的有效性，我们进行了消融研究，以回答是否可以通过不同的矩阵分解方法为对比学习提供指导。为此，我们实施了两个我们模型的变体，将近似 SVD 算法替换为其他矩阵分解方法：CL-MF采用预训练的 MF 生成的视图（Koren等人，2009）；CL-SVD++利用了将隐式用户反馈考虑在内的 SVD++（Koren，2008）。如表4所示，通过从 MF 或 SVD++ 提取的信息，模型能够取得令人满意的结果，表明使用矩阵分解增强 CL 的有效性以及我们提出的框架的灵活性。然而，采用预训练的 CL 组件不仅繁琐且耗时，而且在性能上也不如使用近似 SVD 算法。

理解总结：将LightGCL的近似SVD算法进行数据增强更改为使用MF的CL-MF和使用SVD++的CL-SVD++，效果表明了使用近似SVD方法进行数据增强效率高性能好；

4.6 RQ5 超参数分析

在这一部分，我们研究了模型对几个关键超参数的敏感性：InfoNCE 损失的正则化权重 λ1，温度 τ，以及所需的 SVD 排名 q。

• λ1 的影响： 如图6所示，对于 Yelp、Gowalla 和 ML-10M 这三个数据集，当 时，模型的性能达到峰值。可以注意到，λ1 在的范围内通常可以导致性能改善。
• τ 的影响： 图7表明，模型的性能在 τ 从0.1到10的不同选择下相对稳定，而最佳的 τ 值因数据集而异。
• q 的选择： q 决定了我们模型中 SVD 的秩。实验证明，使用较小的 q 可以取得令人满意的结果。具体来说，如图5所示，我们观察到 q = 5 就足以保留用户-物品交互图的重要结构。

五、总结

在这篇论文中，我们提出了一种简单而有效的方法，用于推荐中的图对比学习框架的增强。具体而言，我们探讨了使奇异值分解足够强大以增强用户-物品交互图结构的关键思想。我们的主要发现表明，我们的图增强方案在抵抗数据稀疏性和流行度偏差方面表现出强大的能力。大量实验证明我们的模型在几个公共评估数据集上取得了新的最先进结果。在未来的工作中，我们计划探索将因果分析融入我们的轻量级图对比学习模型的潜力，以减轻数据增强的混淆效应，从而增强推荐系统。