【2022/图卷积对比/推荐】 Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Lea

如果觉得我的分享有一定帮助，欢迎关注我的微信公众号 “码农的科研笔记”，了解更多我的算法和代码学习总结记录。或者点击链接扫码关注【2022/图卷积对比/推荐】 Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Lea

【2022/图卷积对比/推荐】 Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

---

原文：https://arxiv.org/abs/2202.06200

源码：https://github.com/rucaibox/ncl

1 动机

图显示了用户和item之间的交互，但是一般这都是稀疏的。那么如何减少稀疏对推荐效果的影响呢？一般可以采用对比学习的方法来增强学习的表征能力，在对比学习中通常都是随机采样来构建对比对，忽略了users或者items之间的邻居关系，特别是忽略了哪些潜在的邻居关系。作者提出了一种Neighborhood-enriched Contrastive Learning（NCL），它显示地把潜在邻居（一个user或者item邻居是包括来自图结构的邻居和语义空间上的邻居两种，作者从图结构和语义空间引入用户（或项目）的邻居）组成正对比对。

2 方法

作者定义两类邻居结构：

• 结构邻居： 指通过高阶路径在结构上连接的节点；
• 语义邻居： 指语义相似的邻居，在图上可能无法直接到达，但是他们语义存在相关。

如上结构框图可见主要包含三个loss，三个loss分别定义了模型建模的三个方面。

2.1【User-Item Interaction】

典型GCN聚合user和item表征信息的过程，其聚合过程定义如下式：
$$\begin{array}{rl}{z}_u^{(l+1)}& =\sum _{i\in N_u}\frac{1}{\sqrt{\left|{\mathcal{N}}_u\right|\left|{\mathcal{N}}_i\right|}}{z}_i^{(l)},\\ z_i^{(l+1)}& =\sum _{u\in {\mathcal{N}}_i}\frac{1}{\sqrt{\left|{\mathcal{N}}_i\right|\left|{\mathcal{N}}_u\right|}}{z}^{(l)},\end{array}$$
最终用户和item表示为
$$z_u=\frac{1}{L+1}\sum _{l=0}^L{z}_u^{(l)},z_i=\frac{1}{L+1}\sum _{l=0}^L{z}_i^{(l)}$$
最终预测结果为
$${\hat{y}}_{u,i}={\mathbf{z}}_u^{\top }{\mathbf{z}}_i,$$
采用 BPRQ 损失，其中 $\sigma$ 是sigmoid函数。
$${\mathcal{L}}_{BPR}=\sum _{(u,i,j)\in O}-\log \sigma \left({\hat{y}}_{u,i}-{\hat{y}}_{u,j}\right)$$

2.2【Structural Neighbors】

假设用户或物品初始embedding表示为 $z^0$， $z^l$ 可以看作聚合了 $l$ 跳以内邻居信息的embedding。将用户物品交互图看作二部图，则我们可以将偶数跳的embedding看作是同质（因为二部图中用户的偶数跳邻居是用户，物品的偶数跳邻居是物品）。将用户自己的嵌入表征和偶数层的表征视为正对，并采用对比损失InfoNCE最小化距离。同类item也是类似操作
$$\begin{gathered} {\mathcal{L}}_S^U=\sum _{u\in \mathcal{U}}-\log \frac{\exp \left(\left({\mathbf{z}}_u^{(k)}\cdot {\mathbf{z}}_u^{(0)}/\tau \right)\right)}{{\sum }_{v\in \mathcal{U}}\exp \left(\left({\mathbf{z}}_u^{(k)}\cdot {\mathbf{z}}_v^{(0)}/\tau \right)\right)} \\ {\mathcal{L}}_S^I=\sum _{i\in I}-\log \frac{\exp \left(\left({\mathbf{z}}_i^{(k)}\cdot {\mathbf{z}}_i^{(0)}/\tau \right)\right)}{{\sum }_{j\in I}\exp \left(\left({\mathbf{z}}_i^{(k)}\cdot {\mathbf{z}}_j^{(0)}/\tau \right)\right)}, \end{gathered}$$
综合上面两个损失函数的整体结构对比学习损失函数为
$${\mathcal{L}}_S={\mathcal{L}}_S^U+\alpha {\mathcal{L}}_S^I.$$
其中，$\alpha$ 是超参数，用于权衡两部分损失。

2.3【Semantic Neighbors】

由于基于二部图结构的邻居得到所有的正对，这不可避免会存在噪声的影响，因此采用语义邻居对比学习一定程度上来缓解噪声的影响。我们知道相似的用户或者物品在嵌入空间内应该相似/相近的，而且原型是代表一组语义邻居的集群的中心，则可以将聚类算法应用于用户和商品的嵌入，以获得用户或商品的原型。由于这里无法用end-2-end（端到端）进行优化，则采用EM算法学习并提出原型对比目标。

最大化对数似然函数有下式，其中 ${\mathbf{c}}_i$ 是用户 $u$ 的原型（用户 $u$ 所在集群的中心），$\Theta$ 是模型参数， $ \mathbf{R}$是交互矩阵，$\mathbf{e}_u$​ 是用户的embedding。这里在不断地迭代过程，实际上是希望得到的用户嵌入表征是越来越趋于平稳，即得到的聚类模型能够较好的区分不同的语义。
$$\sum _{u\in \mathcal{U}}\log p\left({\mathbf{e}}_u\mid \Theta ,\mathbf{R}\right)=\sum _{u\in \mathcal{U}}\log \sum _{{\mathbf{c}}_i\in C}p\left({\mathbf{e}}_u,{\mathbf{c}}_i\mid \Theta ,\mathbf{R}\right)$$
过K-means聚类得到原型对比学习目标是基于 InfoNCE 最小化以下函数
$${\mathcal{L}}_P^U=\sum _{u\in \mathcal{U}}-\log \frac{\exp \left({\mathbf{e}}_u\cdot {\mathbf{c}}_i/\tau \right)}{{\sum }_{{\mathbf{c}}_j\in C}\exp \left({\mathbf{e}}_u\cdot {\mathbf{c}}_j/\tau \right)}$$
对于物品来说
$${\mathcal{L}}_P^I=\sum _{i\in I}-\log \frac{\exp \left({\mathbf{e}}_i\cdot {\mathbf{c}}_j/\tau \right)}{{\sum }_{{\mathbf{c}}_t\in C}\exp \left({\mathbf{e}}_i\cdot {\mathbf{c}}_t/\tau \right)}$$
综合两部分捑失函数得
$${\mathcal{L}}_P={\mathcal{L}}_P^U+\alpha {\mathcal{L}}_P^I.$$
$\alpha$ 是超参数，用于权衡两部分捑失。

2.4【loss】

整体目标如下
$$\mathcal{L}={\mathcal{L}}_{BPR}+{\lambda }_1{\mathcal{L}}_S+{\lambda }_2{\mathcal{L}}_P+{\lambda }_3\Vert \Theta {\Vert }_2,$$

3 总结

作者提出方法是模型无关的对比学习框架，提升了目前GCN在推荐中的效果。