KDD2023 | Adaptive Graph Contrastive Learning for Recommendation | 用于推荐的自适应图对比学习

KDD2023 | Adaptive Graph Contrastive Learning for Recommendation | 用于推荐的自适应图对比学习

论文：arxiv.org/abs/2305.10837

代码: https://github.com/HKUDS/AdaGCL

TLDR

本文提出了一种新的用于推荐的自适应图对比学习范式，通过两种不同的自适应对比视图生成器来实施数据增强，以此提升协同过滤的效果。作者分别使用图生成模型和图去噪模型作为可训练的对比视图生成器，以此引入额外的自监督信号，缓解推荐数据中的稀疏和噪声问题。与此同时，自适应的的对比视图还解决了此前基于传统数据增强方法导致的对比学习模型坍塌问题。

研究背景

近年来，图神经网络已经成为一种提升协同过滤推荐系统性能的有效方式。基于图神经网络的推荐系统的核心在于通过在用户-物品交互图上不断进行消息传递以细化用户和物品的嵌入表示。这一方法依赖于充足且高质量的训练数据。然而，在实际推荐场景中，用户的行为数据往往是充满噪声并且是有偏分布的。为了解决这一问题，近期一些推荐系统方法，比如SGL [1]，利用自监督学习来提升用户表示的效果。这些方法通过构造对比视图来进行自监督学习，但是他们依赖于繁琐的数据增强方式的试错选择，并且由于对比视图通过相似的方法构造，容易生成相似的对比视图表示，导致模型学习崩溃的问题。

作者在上图中可视化了SGL模型各个视图的用户/物品嵌入表示。从图中可以清晰地发现，SGL的主视图和两个对比视图的嵌入表示非常相近，而当数据集中加入更多的噪声之后，这个现象更加严重。对比视图的嵌入相近会对对比学习的效果产生不利的影响，也就是所谓的模型坍塌问题。这一现象限制了自监督学习的效果。

为了解决上述问题，本文提出了一种新的用于推荐的自适应图对比学习范式（AdaGCL）。具体而言，作者分别设计了图生成模型和图去噪模型作为对比学习生成器，以实现可学习的对比视图。在可学习的对比视图的帮助下，AdaGCL将额外的高质量自监督信号引入了协同过滤范式，帮助缓解数据稀疏和数据噪声的问题。在三个公共数据集上充分的实验结果表明AdaGCL超过了多个目前的SOTA基线推荐模型。

模型方法

AdaGCL主要由两个可学习的对比视图生成器构成，分别是基于VGAE的图生成模型和设计的图去噪模型，原始的用户-物品交互图通过图生成模型和图去噪模型可以得到增强后的用户-物品交互图，之后分别通过图神经网络的到一对对比视图，和原始用户-物品交互图的到的主视图一起，进行联合学习。其中对比视图使用InfoNCE损失来优化自监督学习任务，主视图使用BPR损失来优化推荐任务。

协同关系学习

为了编码用户和物品之间的交互模式，作者遵循了常用的协同过滤范式，将用户和物品嵌入$d$维的隐空间中。具体地，作者为用户$u_i$和物品$v_i$分别生成了形状为${\mathbb{R}}^d$的嵌入向量${\mathbf{e}}_i$和${\mathbf{e}}_j$，同时定义形状分别为${\mathbb{R}}^{I\times d}$和${\mathbb{R}}^{J\times d}$的用户嵌入矩阵${\mathbf{E}}^{(u)}$和物品嵌入矩阵${\mathbf{E}}^{(v)}$。为了实现多跳信息传播，作者使用了LightGCN [2]中的简化图神经网络作为嵌入传播层：

$${\mathbf{z}}_i^{(u)}={\bar{\mathcal{A}}}_{i,\ast }\cdot {\mathbf{E}}^{(v)},{\mathbf{z}}_j^{(v)}={\bar{\mathcal{A}}}_{\ast ,j}\cdot {\mathbf{E}}^{(u)}$$

除此之外，根据下式得到用户-物品交互图$\mathcal{A}$的归一化邻接矩阵$\bar{\mathcal{A}}$：

$$\bar{\mathcal{A}}={\mathbf{D}}_{(u)}^{-1/2}\cdot \mathcal{A}\cdot {\mathbf{D}}_{(v)}^{-1/2},{\bar{\mathcal{A}}}_{i,j}=\frac{{\mathcal{A}}_{i,j}}{\sqrt{|{\mathcal{N}}_i|\cdot |{\mathcal{N}}_j|}}$$

之后，为了得到用户/物品表达并且聚合本地邻居信息实现语义嵌入，作者使用了多层的嵌入传播层，消息传递的过程如下所示：

$${\mathbf{e}}_{i,l}^{(u)}={\mathbf{z}}_{i,l}^{(u)}+{\mathbf{e}}_{i,l-1}^{(u)},{\mathbf{e}}_{j,l}^{(v)}={\mathbf{z}}_{j,l}^{(v)}+{\mathbf{e}}_{j,l-1}^{(v)}.$$

每个用户/物品节点最终的表示为将每层的嵌入表达求和，之后使用用户和物品最终表示的内积来预测用户对某个物品的喜好程度：

$${\mathbf{e}}_i^{(u)}=\sum _{l=0}^L{\mathbf{e}}_{i,l}^{(u)},{\mathbf{e}}_j^{(v)}=\sum _{l=0}^L{\mathbf{e}}_{j,l}^{(v)},{\hat{y}}_{i,j}={\mathbf{e}}_i^{(u)\top }{\mathbf{e}}_j^{(v)}.$$

图对比学习的自适应视图生成器

• 双视图图对比学习范式

现有的图对比学习工作往往通过特定的方式来生成对比视图，比如随机丢弃节点、边 [1]，或者构建超图 [3]。然而，选择合适的方法来生成对比视图可能会很麻烦，因为它通常依赖于繁琐的试错或者有限的预制视图选择池。这限制了这些方法的实用性和潜力。为了解决这个问题，作者提出用两个可学习的视图生成器来得到图对比学习的自适应视图。

除此之外，模型崩溃也为开发图对比学习的视图生成器提出了挑战，同一生成器生成的两个视图容易产生相似的分布，会导致不充分的对比优化。为了解决这个问题，作者提出使用两个不同的视图生成器，从不同的角度来增强用户-物品视图。具体来说，作者采用图生成模型和图去噪模型来作为两个视图生成器。图生成模型是基于原始图分布来重建视图，而图去噪模型则利用图的拓扑信息从用户-物品图中消除噪声以生成噪声更少的新视图。

在两个自适应对比视图的辅助下，作者遵循了现有自监督协同过滤工作的范式，将同一节点的两个视图中的表示作为正对（即，$({\text{e}}_i^{{}^{\prime }}$, ${\text{e}}_i^{{}^{\prime \prime }}$)|$u_i\in \mathcal{U}$），将任何两个不同节点的两个视图中的表示作为负对（即，${\text{e}}_i^{{}^{\prime }}$, ${\text{e}}_{i^{\prime }}^{{}^{\prime \prime }}$)|$u_i,u_{i^{\prime }}\in \mathcal{U}$, $u_i\ne u_{i^{\prime }}$），目标是最大化正对一致性并最小化负队一致性，使用InfoNCE损失来优化自监督任务：

$${\mathcal{L}}_{ssl}^{user}=\sum _{u_i\in \mathcal{U}}-\text{log}\frac{\text{exp}(s({\text{e}}_i^{\prime },{\text{e}}_i^{\prime \prime })/\tau )}{{\sum }_{u_{i^{\prime }}\in \mathcal{U}}\text{exp}(s({\text{e}}_i^{\prime },{\text{e}}_{i^{\prime }}^{\prime \prime }/\tau )}$$

• 视图生成器：图生成模型

受到近期图生成模型相关工作的启发，作者使用了变分图自编码器 [4]作为生成模型。变分图自编码器融合了变分自编码器和图生成，和普通的图自编码器相比，变分图自编码器引入了KL散度来降低过拟合的风险，支持生成更多样化的图，以提升不确定性。这有利于提供更具挑战性的对比视图。相较于目前受欢迎的生成对抗网络和扩散模型，变分图自编码器相对容易训练并且速度更快。

具体来说，作者使用一个多层图神经网络作为编码器来获得图嵌入表示，之后使用两个多层感知器（MLPs）来从图嵌入表示中获取均值和标准差，最后再用一个多层感知器（MLPs）作为解码器，将从高斯噪声中得到的均值和标准差解码成一个新的图。整体的训练损失如下：

$${\mathcal{L}}_{gen}={\mathcal{L}}_{kl}+{\mathcal{L}}_{dis}$$

其中${\mathcal{L}}_{kl}$表示节点嵌入表示分布和标准高斯分布之间的KL离散度，${\mathcal{L}}_{dis}$是用来衡量生成的图和原始图之间相似度的交叉熵函数。

• 视图生成器：图去噪模型

图神经网络使用消息传递机制来通过输入的图传播并聚合信息，以得到节点表示。然而，输入图的质量很大程度上影响着模型的性能，因为在噪音边上聚合的信息会降低节点嵌入表示的质量。所以，对于第二个视图生成器，作者希望生成一个去噪的视图来增强模型对抗噪声数据的能力。

为了提升经过每层图神经网络之后节点嵌入表示的质量，作者提出了一种图神经网络，它包含了一个去噪层来过滤输入图中的噪声边。这个参数化网络如上图所示。该方法的主要出发点是使用参数化的网络来主动过滤输入图中的噪声边。

具体地，对于每一层图神经网络层，使用一个二进制矩阵${\mathbf{M}}^l\in {0,1}^{|\mathcal{V}|\times |\mathcal{V}|}$来表示节点$u_i$和$v_j$之间是否存在边，如果之间是噪声边，则这个矩阵对应的值应该为0，起到消除该噪声边的作用。经过去噪层后的图可以表示为${\mathbf{A}}^l=\mathbf{A}\odot {\mathbf{M}}^l$。用关于${\mathbf{A}}^l$的最少假设来减少噪声边最直接的想法是惩罚不同层${\mathbf{M}}^l$中非零项的数量：

$$\sum _{l=1}^L{||{\mathbf{M}}^l||}_0=\sum _{l=1}^L\sum _{(u,v)\in \epsilon }\mathbb{I}[m_{i,j}^l\ne 0]$$

然而，由于其组合和不可微的性质，优化这个惩罚项在计算上是代价巨大的。为此，作者从以${\pi }_{i,j}^l$为参数的博努利分布中来获得二进制项$m_{i,j}^l$。$m_{i,j}^l$表示了边的质量。为了能够用梯度的方法高效地进行优化，作者使用了重参数技巧，将二进制项$m_{i,j}^l$松弛到一个参数为${\alpha }_{i,j}^l\in \mathbb{R}$和独立随机变量${\epsilon }^l$的函数$g$，可以得到$m_{i,j}^l=g({\alpha }_{i,j}^l,{\epsilon }^l)$。

基于上述讨论，作者设计了一个去噪层来学习参数${\alpha }_{i,j}^l$，控制是否移除某一条边。最终，网络的优化损失可以表示为：

$${\mathcal{L}}_c=\sum _{l=1}^L\sum _{(u_i,v_j)\in \epsilon }(1-{\mathbb{P}}_{\sigma (s_{i,j}^l)}(0|{\theta }^l))$$

任务相关的视图生成器学习

为了让生成的对比视图与下游的推荐任务更加相关，作者引入了常用的BPR损失作为任务相关的监督信息，联合监督视图生成器的优化：

$${\mathcal{L}}_{bpr}=\sum _{(u,i,j)\in \mathcal{O}}-\text{log}\sigma ({\hat{y}}_{ui}-{\hat{y}}_{uj})$$

与此同时，更新前文提到的图生成模型和图去噪模型的优化损失如下：

$${\mathcal{L}}_{gen}={\mathcal{L}}_{kl}+{\mathcal{L}}_{dis}+{\mathcal{L}}_{bpr}^{gen}+{\lambda }_2||\Theta |{|}_{\text{F}}^2$$

$${\mathcal{L}}_{den}={\mathcal{L}}_c+{\mathcal{L}}_{bpr}^{den}+{\lambda }_2||\Theta |{|}_{\text{F}}^2$$

模型训练

AdaGCL框架的训练主要包含两个层次，首先是上层部分。这一部分作者使用了多任务训练策略来联合优化经典的推荐任务和自监督学习任务：

$${\mathcal{L}}_{upper}={\mathcal{L}}_{bpr}+{\lambda }_1{\mathcal{L}}_{ssl}+{\lambda }_2||\Theta |{|}_{\text{F}}^2$$

下层部分是指两个对比视图生成器的优化任务，两个视图生成器可以一起优化：

$${\mathcal{L}}_{lower}={\mathcal{L}}_{gen}+{\mathcal{L}}_{den}$$

时间复杂度分析

作者还对模型的时间复杂度进行了分析，模型主要包含三个主要部分。首先，协同关系学习模块和LightGC类似，时间复杂度为$O(L\times |\mathcal{A}|\times d)$，$L$是GNN的层数，$|\mathcal{A}|$是用户-物品交互图中边的数量，$d$是嵌入表示的维度。其次，图生成模型（变分图自编码器）的时间复杂度为$O(|\mathcal{A}|\times d^2)$，图去噪模型中的去噪层的时间复杂度为$O(L\times |\mathcal{A}|\times d^2)$。最后，对比学习范式的时间复杂度为$O(L\times B\times (I+J)\times d)$，这里$B$表示在单个训练批次中，用户/物品的数量。$I$和$J$分别表示用户和物品的数量。

实验结果

本文在三个公开数据集上对比15个最新的基线模型进行了广泛的实验，实验结果表明提出的AdaGCL在总体表现、缓解数据稀疏问题、对抗数据噪声等方面具有更好的性能。

作者还进行了完整的消融实验，实验结果表明所提出的各个子组件均有提升推荐效果的功能：

除此之外，作者还通过嵌入表达的可视化分析比较了基于随机增强方法的自监督推荐系统（SGL）和提出的AdaGCL在对抗噪声和缓解模型崩塌问题时的表现。实验结果表明，在自适应对比视图生成器的帮助下，AdaGCL可以更好地对抗噪声数据（图去噪模型），也可以缓解模型崩塌的问题（使用两个不同的对比视图生成器）：

总结

本文中，作者提出了一种新颖的方法，通过自适应的视图生成器以提升自监督推荐系统的性能。作者引入了一种全新的推荐系统框架，AdaGCL，包含一个图生成模型和一个图去噪模型来构建对比视图，提供额外的自监督信号来更有效地建模用户-物品交互信息。该方法提升了模型的抗噪声能力，提升了基于图的推荐系统的整体性能。在多个数据集上的充分实验证明了模型出色的性能，超越了多个具有竞争力的基线模型，也证明了它与其他自监督推荐系统模型相比具有的优势。

Reference

[1] Jiancan Wu, Xiang Wang, Fuli Feng, Xiangnan He, Liang Chen, Jianxun Lian, and Xing Xie. 2021. Self-supervised graph learning for recommendation. In International Conference on Research and Development in Information Retrieval (SIGIR). 726–735.

[2] Xiangnan He, Kuan Deng, Xiang Wang, Yan Li, Yongdong Zhang, and Meng Wang. 2020. Lightgcn: Simplifying and powering graph convolution network for recommendation. In International Conference on Research and Development in Information Retrieval (SIGIR). 639–648.

[3] Liang haoXia, Chao Huang, Yong Xu, Jiashu Zhao, Dawei Yin, and Jimmy Huang. 2022. Hypergraph contrastive collaborative filtering. In International Conference on Research and Development in Information Retrieval (SIGIR). 70–79.

[4] Thomas N Kipf and Max Welling. 2016. Variational graph auto-encoders. arXiv preprint arXiv:1611.07308 (2016).