论文精读|Knowledge Graph Contrastive Learning for Recommendation

论文精读|Knowledge Graph Contrastive Learning for Recommendation

论文连接：Knowledge Graph Contrastive Learning for Recommendation

注：本文只供作者本人记录使用，若有不足之处欢迎指出

1 摘要

知识图谱已经成功应用于推荐系统领域，然而利用知识图谱进行推荐的方法任存在两个问题：
i）长尾分布的实体对于KG-enhanced 物品表征会产生稀疏的监督信号。
ii) 现实生活的知识图谱混杂着噪声，以及包含着物品与实体之间主题不相关的连接。

本文中作者设计了一个Knowledge Graph Contrastive Learning Framework（KGCL）来解决上述基于知识图谱增强方法中的问题。具体来说，作者设计了一个知识图增强的模式来抑制信息聚合的KG 噪声，以为item学习到更健壮性的知识感知表征。此外作者为了进一步抑制KG噪声，利用KG 增强过程中产生的额外的监督信号来引导跨视图对比学习范式，在梯度下降中赋予无偏的用户-项目交互更大的作用。

模型结构如图所示：

贡献：

• 这项工作引入了将知识图谱学习与用户-物品交互建模集成到一个联合自监督学习范式下的思想，旨在提高推荐系统的鲁棒性，并减轻数据噪声和稀疏性问题。
• 提出了通用的KGCL（知识图谱引导的拓扑去噪框架），它提供了具有知识感知对比目标的跨视图自区分监督信号。提供了理论分析，以证明综合学习目标所带来的好处。

2 模型方法

2.1 关系感知的知识聚合（Rational-aware Knowledge Aggregation）

2.1.1 Knowledge Aggregation with Relational Heterogeneity

此处作者受启发于图注意力机制，设计了一个关系感知的图嵌入层来反映知识图连接结构上的关系异质性。（这句话写的有些抽象，不知道是什么意思）。为了解决知识图谱手动设计路径生成的局限性，作者在其所提出KGCL结构中利用参数化注意力机制，将实体和关系依赖上下文映射到具体的表征空间。在${\mathcal{G}}_k$中物品和其有关联的实体之间，设计了信息传播机制，其过程描述如下：
$$\begin{gathered} {\mathbf{x}}_i={\mathbf{x}}_i+\sum _{e\in {\mathcal{N}}_i}\alpha (e,r_{e,i},i){\mathbf{x}}_e \\ \alpha (e,r_{e,i},i)=\frac{\exp \left(LeakyReLu\left(r_{e,i}^{T}W[{\mathbf{x}}_e||{\mathbf{x}}_i]\right)\right)}{{\sum }_{e\in N_i}\exp \left(LeakyReLu\left(r_{e,i}^{T}W[{\mathbf{x}}_e||{\mathbf{x}}_i]\right)\right)} \end{gathered}$$
$N_i$是item$i$在知识图谱${\mathbf{G}}_k$中基于不同关系$r(e,i)$的领域实体。${\mathbf{x}}_i\in {\mathbb{R}}^d$和${\mathbf{x}}_e\in {\mathbb{R}}^d$分别表示物品的embedding 和 实体的embedding。$\alpha (e,r_{e,i},i)$表示知识聚合过程中估计的实体和关系特定的注意力相关性，具体来说$\alpha (e,r_{e,i},i)$编码物品$i$和实体$e$的不同的语义信息。W $\in {\mathbb{R}}^{d\times 2d}$是参数权重矩阵。

2.1.2 Semantic Representation Enhancement

此外，为了进一步增强实体-物品依赖关系的多关系语义表示空间，作者在关系感知和TransE之间交替训练，这种基于翻译的知识图谱嵌入的一般思想,是使头部和关系嵌入 ${\mathbf{x}}_h$ 和 ${\mathbf{x}}_r$ 的总和尽量接近尾部表征$x_t$。其过程描述如下：
$${\mathcal{L}}_{TE}=\sum _{(h,r,t,t^{\prime })\in {\mathcal{G}}_k}-\ln \sigma (f_d({\mathbf{x}}_h,{\mathbf{x}}_r,{\mathbf{x}}_{t^{\prime }})-f_d({\mathbf{x}}_h,{\mathbf{x}}_r,{\mathbf{x}}_t)$$
其中$f_d$表示基于$L_1$范式的相似度度量函数，KaTeX parse error: Expected group after '^' at position 2: t^̲'是负样本

2.2 知识图谱增强（Knowledge Graph Augmentation）

2.2.1 知识图谱结构增强

本文核心就是引入辅助自监督信号，将知识图谱嵌入于对比学习范式相结合。在这个想法下作者设计了基于实体的自己区分方法，为对比学习生成知识图谱结构不同的视图。具体来说，作者使用随机方法在输入的知识图谱中生成两个相关的数据视图。然后，个体物品的知识图结构一致性被推导为反映了对知识噪声扰动的物品级不变性（有点抽象不好理解）。基于此，作者在知识图谱结构上设计了两种随机选择的数据增强方法${\eta }_1({\mathcal{G}}_K)$和${\eta }_2({\mathcal{G}}_k)$。其方法描述为：
$${\eta }_a({\mathcal{G}}_k)=((e,r,i)\odot {\mathbf{M}}_k^1),{\eta }_2({\mathcal{G}}_K)=((E,R,I)\odot {\mathbf{M}}_k^2)$$
上式中（e,r,i）$\in {\mathcal{G}}_k$是物品和它们所依赖的实体之间的三元组。${\mathrm{M}}_{\mathrm{k}}^1$和${\mathrm{M}}_{\mathrm{k}}^2$以概率$p_k$生成的0,1矩阵，类似于mask matrix表示在采样时某个三元组是否被选择。上述增强方法类似于SGL中对用户物品图增强的方法。在作者所提出的这个知识图谱增强框中，其目标是识别出对结构变化不敏感，和对噪声实体连接容忍度更高的物品。这些物品在其特征方面是清晰的且有利于捕获与其有关联得用户偏好。

2.2 Agreement between Augmented Structural Views

通过上述${\eta }_1(\cdot )$和${\eta }_2(\cdot )$，执行知识图谱增强的操作后，可以得到两个知识图谱独立的视图。探究受到对图一致性的研究启发，为了探索基于扩充视图的每个物品的一致性特性，定义了物品 𝑖 的知识图结构一致性 $c_i$，其基于从不同视图编码的表示之间的一致性来计算:
$$c_i=s(f_k(x,.{\eta }_1({\mathcal{G}}_k)),f_k(x_i,{\eta }_2({\mathcal{G}}_K)))$$

(不太明白这里一致性意义的在哪里)
上述公式找那个$f_k$表示关系感的知识聚合模式，用于生成对应于不同增强结构视图${\eta }_1({\mathcal{G}}_k)$和${\eta }_2({\mathcal{G}}_k)$的物品嵌入${\mathbf{x}}_i^1$和${\mathbf{x}}_i^2$。$s(\cdot )$是余弦相似度函数用于衡量${\mathbf{x}}_i^1$和${\mathbf{x}}_i^2$的距离。

2.3 知识引导的对比学习(Knowledge-Guided Contrastive Learning)

作者将知识图谱扩充方案与图对比学习范式相结合，旨在提高基于图的协同过滤的表示能力，包括模型的准确性和鲁棒性。为了在学习用户偏好时有效地传递有用的物品外部知识，作者为 用户-物品交互设计了两个对比表示空间。在这种对比学习框架中，去噪的物品知识可以被用来引导用户和物品的表示，并缓解监督信号的稀疏性。

2.3.1 （交互图增强机制）Interaction Graph Augmentation Mechanism

不同于何向南组提出的SGL框架中，对用户-物品交互图的增强方法。作者认为纯dropout操作限制了其在保留对比学习中有用交互的效用。为了消除这种限制，作者利用估计的物品知识图谱结构一致性，来引导用户物品交互 G u = { V , ϵ } \mathcal G_u=\{\mathcal V, \mathcal \epsilon\} Gu​={V,ϵ}上的数据增强操作。作者设计的知识引导的图对比学习的基本原理是识别出用的交互信息，以更少的偏见信息来描述用户的偏好。具体来说，具有较高知识图结构一致性分数的物品将包含更少的噪声，并更多地有助于建模用户真正的兴趣。知识引导增强原理，将推导的物品特定的知识图结构一致性$c_i$ 结合到我们对用户-物品交互图的操作中，具体如下公式所示：
$$\begin{gathered} w_{u,i}=\exp (c_i);p_{u,i}^{\prime }=max\left(\frac{w_{u,i}-w^{min}}{w^{max}-w^{min}},p_{\tau }\right) \\ {p}_{u,i}=p_a\cdot {\mu }_{p^{\prime }}\cdot p_{u,i}^{\prime } \end{gathered}$$
上述参数的详细信息请参考论文。总之这一步主要是在计算这个参数$p_{u,i}$， 代表了丢弃用户和物品之间交互边的估计概率。在计算出概率$p_{u,i}$后，便可以得到mask 矩阵${\mathbf{M}}_u^1$、${\mathbf{M}}_u^2$，其主要用于实现用户物品交互图中对边的随机dropout，上述两个mask 矩阵都是由伯努利分布产生。用户物品交互图增强操作如下：
$$\phi ({\mathcal{G}}_U)=(\mathcal{V},{\mathbf{M}}_u^1\odot \epsilon ),\phi ({\mathcal{G}}_U)=(\mathbf{V},M_u^2\odot \epsilon )$$

2.3.2 知识感知的协同对比学习 （Knowledge-aware Co-Contrastive Learning）

通过上述操作得到了四个子图分别是${\eta }_1({\mathcal{G}}_k)$、${\eta }_2(G_k)$
、${\varphi }_1({\mathcal{G}}_u)$、${\varphi }_2({\mathcal{G}}_u)$。接着利用基于图的协同过滤架构和关系感知的图聚合机制来分别编码用户、物品的表征。作者利用lightGCN中的消息传播策略编码用户物品交互，其过程描述如下：
$${\mathbf{x}}_u^{l+1}=\sum _{i\in N_u}\frac{{\mathbf{x}}_i^{(l)}}{\sqrt{|N_u||N_i|}};{\mathbf{x}}_i^{(l+1)}=\sum _{u\in N_i}\frac{{\mathbf{x}}^{(}l{)}_u}{\sqrt{|N_i||N_u|}}$$
其中${\mathbf{x}}^{(}l{)}_u$和${\mathbf{x}}^{(}l{)}_i$分别表示用户$u$和物品$i$在第$l$图propagation的编码表征。$N_u$和$N_i$分别表示用户$u$交互的物品集，物品$i$连接的用户。

到这里便可以得到KGCL模型的损失函数了，在这项工作中，作者也是使用joint training策略，其模型的整体损失函数描述如下：
$$\mathcal{L}={\mathcal{L}}_b+\lambda {\mathcal{L}}_c+{\lambda }_2||\Theta |{|}_2^2$$
其中${\lambda }_2$是惩罚系数,$L_c$是infoNCE，其具体的形式的描述如下：
$${\mathcal{L}}_c=\sum _{u\in \mathcal{V}}-\log \frac{\exp (s({\mathbf{x}}_n^1,x_n^2)/\tau )}{{\sum }_n^{\prime }\in \mathcal{V}\exp (s({\mathbf{x}}_n^1,x_{n^{\prime }}^2)/\tau )}$$
其中$\tau$是温度系数，$s(\cdot )$是余弦相似度函数。而$L_b$是经典的BPR函数，在这它是主要函数用于产生推荐结果，其形式如下：
$${\mathcal{L}}_b=\sum _{u\in U}\sum _{i\in {\mathcal{N}}_u}\sum _{i^{\prime }\notin {\mathcal{N}}_u}-\log \sigma ({\hat{y}}_{u,i}-{\hat{y}}_{u,i^{\prime }})$$

3 实验结果（部分）

作者同多个baseline在三个数据集上进行了对比实验，同时还进行了消融实验、超参数实验等具体细节请参考原文。

利用文中代码对实验结果进行复现情况：
等更新

4 总结

本文针对利用知识图谱的推荐算法中，1）实体的长尾分布导致会知识增强的物品表示的监督信号稀疏；2）知识图谱中存在这噪声以及物品与实体主题不相关的连接；上述知识图谱的稀疏性和噪声使得物品-实体相关的关系偏离了反映它们真实特性的方向，显著放大了噪声效应，阻碍了对用户偏好的准确表示。设计了一种KGCL框架，主要是通过对知识图谱增强以缓解上述问题，同时设计了一种夸视图的增强方法，利用KG增强中产生监督信号，来引导用户物品图的增强。

将知识图谱增强引入了图的推荐方法中，作者并非将知识图谱增强与用户交互图增强进行简单地融合，而是设计了cross-view 的引导增强方法，利用知识图谱增强过程中产生的监督信号，来引导用户物品交互图的数据增强操作。

可能的创新点：
暂时没想到