Adaptive Graph Contrastive Learning for Recommendation

Adaptive Graph Contrastive Learning for Recommendation（KDD23）

源码： https://github.com/HKUDS/AdaGCL

摘要

图神经网络（GNNs）最近作为推荐系统中的有效协同过滤（CF）方法受到关注。基于GNN的推荐系统的关键思想是通过用户-项目交互边沿进行递归消息传递，以优化编码嵌入，依赖于充足且高质量的训练数据。然而，实际推荐场景中的用户行为数据通常是噪声较大且分布偏斜的。为了解决这些问题，一些推荐方法（如SGL）利用自监督学习来改善用户表示。这些方法通过创建对比视图进行自监督学习，但它们依赖于繁琐的试错选择增强方法。

在本文中，我们提出了一种新颖的自适应图对比学习（AdaGCL）框架，使用两个自适应对比视图生成器进行数据增强，以更好地增强协同过滤范式。具体而言，我们使用两个可训练的视图生成器——图生成模型和图去噪模型——来创建自适应对比视图。通过两个自适应对比视图，AdaGCL为协同过滤范式引入了额外的高质量训练信号，有助于缓解数据稀疏和噪声问题。

本文贡献

提出了一种新颖的自适应图对比学习（AdaGCL）框架来增强推荐系统的鲁棒性和泛化性能。 我们的方法利用自适应对比学习来引入高质量的训练信号，从而增强图神经 CF 范式。 虽然最近的几项研究使用对比学习来提高模型性能，但它们都需要特定的方法来创建对比视图。 选择创建对比视图的方法可能很繁琐，并且通常仅限于预制视图池，这可能会限制其潜力和适用性。 为了解决这些问题，我们集成了图生成模型和图去噪模型来建立适应数据分布的视图，实现图对比学习的自适应对比视图。 通过提供两种不同的自适应视图，我们提供了额外的高质量训练信号，可以增强图神经 CF 范式，并帮助解决基于对比学习的数据增强中的模型崩溃问题。

1. 提出了一种新颖的自监督推荐模型，称为 AdaGCL，它通过从自适应对比学习中提取额外的训练信号来增强图 CF 的鲁棒性。
2. AdaGCL 采用两个可训练视图生成器（即图形生成器和图形去噪模型）来创建对比视图。 这些视图解决了模型崩溃的问题，并为对比学习提供了自适应视图，最终增强了图神经 CF 范式的有效性。

模型崩溃：模型崩溃通常指的是模型在训练过程中无法有效地学习到输入数据的有效表示，而是将输入数据映射到同一常数向量或者沿着特定的维度崩溃，导致嵌入向量只能在较低维度的子空间中有效。这种崩溃问题会严重影响模型的泛化能力和下游任务的表现。

相关工作

1. 协同过滤范式
   

2. 基于图的推荐系统

由于其有效建模用户和项目之间复杂关系的能力，图神经架构近年来变得越来越流行。这些架构利用图嵌入传播技术以图嵌入的形式编码用户与项目之间的交互。图神经架构的一个重要优势是能够捕捉用户与项目之间的多跳连接。这使得模型能够捕捉用户和项目之间更复杂和细微的关系。一些架构，如 PinSage 和 NGCF，在谱域中使用图卷积网络。其他架构，如 LightGCN，通过简化非线性变换并使用基于总和的池化来提高效率，这些架构在保留多跳连接的同时，将每个用户和项目编码为转换的嵌入。

此外，用户和项目之间的细粒度基于图的关系学习技术也已在图神经网络中引入，用于用户/项目表示。这些技术的示例包括 DGCF、DCCF 和 DRAN。这些技术通过利用图结构的多意图信息，旨在学习解耦或行为感知的用户表示。除了这些技术，图神经网络还越来越多地应用于下一个项目推荐任务，以捕捉项目之间的时间依赖关系以及用户对某些项目的偏好如何随时间演变。DGSR、RetaGNN 和 GCE-GNN 等模型将用户的历史交互表示为一系列项目，并利用基于图的消息传递根据邻近项的信息更新每个项目的嵌入。这种方法使模型能够捕捉项目之间的依赖关系和用户对某些项目偏好的演变，从而导致更准确和有效的推荐。

3. 自监督图学习

尽管监督学习在许多应用中取得了成功，但获取大型标注数据集可能是一个具有挑战性且昂贵的任务。为克服这一限制，自监督学习（SSL）作为一种有前景的解决方案应运而生。在图机器学习的背景下，SSL已被证明对学习高质量的图数据表示是有效的。最近在 SSL 方面的一个进展是使用对比学习，辅以从各种图数据生成的辅助训练信号，如异构图、时空图和分子图。使用对比学习的 SSL 已被证明可以提高图的嵌入质量，从而在节点分类和链路预测等任务中取得更好的性能。

自监督图学习也被引入到推荐系统中，展现出利用对比自监督学习（如 SGL）或生成自监督学习（如 GFormer）技术增强用户和项目表示的巨大潜力。自监督图学习框架的一个例子是 SGL，它通过随机节点和边的丢弃操作生成用户-项目交互图的对比视图。通过最大化对比视图嵌入之间的一致性，可以将 SSL 信号纳入模型的联合学习过程。另一个例子是 GFormer，它利用图自编码器重构被掩蔽的用户-项目交互以进行增强。通过以这种方式生成增强的训练数据，模型可以学习更有效的用户和项目表示。此外，自监督图学习技术在多种推荐场景中也得到了应用。例如，S3-Rec 基于自注意神经架构，使用四个辅助自监督目标来学习各种类型数据之间的相关性，包括属性、项目和子序列。C2DSR 是一种跨领域序列推荐方法，提出了对比跨领域信息最大化目标，以增强单一和跨领域用户表示之间的相关性。SLMRec 是一种针对多媒体推荐的自监督学习方法，能够捕捉数据中的多模态模式。

模型框架

方法论

本地协作关系学习

用于图对比学习的自适应视图生成器

1. 双视图GCL范式

采用图生成模型和图去噪模型作为我们的两个视图生成器。图生成模型负责基于图分布来重构视图，而图去噪模型利用图的拓扑信息来从用户项图中去除噪声并生成具有较少噪声的新视图。
生成俩个新的视图，然后构建对比损失。

2. 视图生成器的图生成模型

3.视图生成器的图去噪模型

学习任务感知视图生成器

模型训练