Heterogeneous Graph Contrastive Learning for Recommendation

Heterogeneous Graph Contrastive Learning for Recommendation

论文：https://arxiv.org/abs/2303.00995
源码：https://github.com/HKUDS/HGCL

摘要

图神经网络（GNN）已成为推荐系统中对图结构数据进行建模的强大工具。 然而，现实生活中的推荐场景通常涉及异构关系（例如，社交感知的用户影响力、知识感知的项目依赖性），其中包含丰富的信息来增强用户偏好学习。 在本文中，我们研究了异构图增强关系学习的推荐问题。 最近，对比自监督学习在推荐领域取得了成功。 鉴于此，我们提出了一种异构图对比学习HGCL，它能够将异构关系语义纳入用户-项目交互模型中，并通过不同视图之间的对比学习增强知识转移。 然而，异构辅助信息对交互的影响可能因用户和项目而异。 为了推进这个想法，我们通过元网络增强异构图对比学习，以允许具有自适应对比增强的个性化知识转换器。

1 INTRODUCTION

在现实世界的推荐系统中，异构关系信息无处不在，例如用户之间的社交网络连接以及具有语义相关性的知识感知项目依赖关系。 在本文中，我们解决了将异构辅助信息合并到协同过滤中以增强推荐系统的挑战。 受到 GNN 在各种推荐任务中成功的启发，研究人员尝试设计异构图神经网络，将异构关系的丰富语义嵌入到潜在表示中。 然而，大多数现有研究的表示能力往往受到稀疏训练标签的限制。 换句话说，当前的异构图神经网络是需要标签数据的学习模型，因此可能无法生成具有稀疏交互标签的高质量用户/项目嵌入来用于推荐器的模型优化[15, 29]。

对比自监督学习，作为一种有前景的表示技术而出现，通过未标记数据本身的数据增强来解决数据稀疏问题。 通过将对比学习与图神经网络相结合，图对比学习（GCL）已成为一种有效的解决方案，可以在图结构上缺乏足够的观察到的标签[38]的情况下增强学习表示的鲁棒性。 GCL 的总体思想是研究从两个图对比表示视图编码的嵌入之间的对齐情况。 在基于 GCL 的自监督中，正对比样本的表示之间的一致性将被最大化，而负对的嵌入之间的距离将被推开。 受此启发，我们将 GCL 的优势引入异构关系学习中，以提高推荐性能。

由于用户的个性化特征和不同的用户特定交互模式，用户之间的社交影响力可能会有所不同。 盲目地增强用户的偏好学习而不考虑他们的个体特征很容易导致次优的表示。在本文中，我们通过学习对比增强器来研究异构图学习的推荐问题。

挑战：
i）如何有效地跨不同视图传递辅助知识；
ii）如何通过个性化增强进行异构关系对比学习。

为了应对上述挑战，我们提出了称为异构图对比学习（HGCL）的原则框架。 具体来说，我们首先利用异构图神经网络作为编码器，异构关系的丰富语义被保留在编码的嵌入中。 为了应对个性化增强，我们提出了一个量身定制的对比学习框架，该框架设计了一个元网络来编码用户和项目的个性化特征。 它允许我们执行特定于用户和项目的增强，以便在不同的关系视图之间传输信息信号。

本文贡献
1.HGCL 通过异构图对比学习推进了推荐系统，提供了一个通用的框架，可以在图对比学习范式下将异构辅助信息合并到推荐器中。
2. HGCL 通过将元网络与自适应增强的对比学习相结合来解决我们的问题，以实现特定于用户和特定于项目的知识转移。 它通过定制的跨视图增强来推进图形对比学习。

2 RELATED WORK

1.GNN-based Recommender Systems

2.Contrastive Learning for Recommendation

对比自监督学习受到了研究者的关注。 这是因为生成的自监督信号可以用来丰富用户表示学习。 在推荐系统中，对比学习可以成为一种强大的工具，可以将用于数据增强的自我监督信号与对比表示视图之间的对齐结合起来。 例如，许多研究旨在通过提出各种用于嵌入对比的图增强方案来解决推荐器中的数据稀疏问题，例如SGL [29]、HCCF [32]和NCL [14]。 特别是，在 SGL 中采用随机节点/边 dropout 操作来生成图对比学习视图[29]。 在 HCCF [32] 中，局部-全局对比学习被设计用于基于参数化超图结构的自监督增强。 在这些对比图 CF 模型中，可以基于基于 InfoNCE 的对比来提高嵌入均匀性。 也有一些研究利用推荐系统中知识图表示的对比学习，例如 KGCL [37] 和 KGIC [43]。 此外，对比学习已被用于各种推荐场景，包括顺序推荐[26]、多行为推荐[27]和多兴趣推荐[40]。 在这项工作中，提出了一种新颖的异构图对比学习范式，通过对比学习捕获推荐中的异构关系来填补推荐系统的空白。

3.Heterogeneous Graph Learning

异构图上的表示学习旨在对节点嵌入进行编码，其中可以很好地保留具有关系异构性的丰富语义[35]。 为了实现这一目标，异构图神经网络成为提供最先进表示结果的有前途的技术。 例如，HAN[24]基于元路径构建增强了图注意力网络处理异构类型节点和关系的能力。 受 Transformer 框架的推动，HGT [11] 设计了一个图 Transformer 网络，利用自注意力计算节点之间的传播权重来实现异构消息传递。 此外，MAGNN [7] 还考虑了元路径内和元路径间聚合，以融合异构图上不同元路径的信息。 在HGIB [36]中，信息瓶颈被扩展到同构图之间具有自我监督的异构图学习。 针对这一研究方向，本文解决了异构图对比学习推荐这一重要但尚未探索的任务.

3 METHODOLOGY

3.1 Preliminaries

现实生活中的推荐系统中的关系通常是异构的，包含来自用户和项目的不同语义信息。 我们用图 G𝑢𝑖 = {V𝑢,V𝑖, E𝑢𝑖 }​​ 表示用户-项目交互数据，其中 V𝑢 和 V𝑖 分别表示用户和项目的集合。 在图 G𝑢𝑖 中，如果用户𝑢采用了项目𝑖，则𝑢和𝑖之间存在边（(𝑢, 𝑖) ∈ E𝑢𝑖 ）。 为了表示用户之间的社交关系，图 G𝑢𝑢 = {V𝑢, E𝑢𝑢 } 被定义为包括与边集 E𝑢𝑢 的用户级社交关系。 为了合并逐项关系，我们定义了项图 G𝑖𝑖 = {V𝑖，E𝑖𝑖 } 将依赖项与外部知识（例如，项类别）连接起来。 对于这些定义的图，我们定义三个相邻矩阵 A𝑢𝑖 ∈ R𝑚×𝑛、A𝑢𝑢 ∈ R𝑚×𝑚 和 A𝑖𝑖 ∈ R𝑛×𝑛 ，分别对应于图 G𝑢𝑖 、 G𝑢𝑢 和 G𝑖𝑖 。 这里，𝑚和𝑛分别表示用户和项目的数量。 这项工作的目标是在给定具有关系异质性的图表的情况下预测用户和项目之间未观察到的交互 。

3.2 Heterogeneous Graph Relation Learning

1. Relation-Aware Embedding Initialization.
   我们采用异构图神经网络从用户-项目图 G𝑢𝑖、用户用户图 G𝑢𝑢 和项目-项目图 G𝑢𝑖 学习嵌入。 首先，我们分配由 xavier 初始化器 [8] 初始化的 id 对应的嵌入 e𝑢，e𝑖 ∈ R𝑑，其中 𝑑 表示隐藏维度。 特定于节点的嵌入形成初始嵌入矩阵 E0 𝑢 ε R𝑚×𝑑 和 E0 𝑖 ε R𝑛×𝑑。 初始嵌入被输入到用户-项目域、用户-用户域和项目-项目域的不同图编码器中。 为了突出三种关系类型之间交互模式的差异，我们训练了一个自门模块[39]，从共同的初始嵌入空间中导出用户级社交连接和项目级语义关系的关系感知嵌入。

2. Heterogeneous Message Propagation.

E0𝑢、E0𝑖用作用户项目视图的输入，E0𝑢𝑢和E0𝑖𝑖分别用作用户-用户视图和项目-项目视图的输入。

用户-用户和项目-项目视图的消息传播同理

3. Heterogeneous Information Aggregation.

受[11]中软元路径设计的启发，每次迭代中的信息都是从异构关系中聚合的。 通过异构消息传播的多次迭代，高阶嵌入通过多跳连接保留异构语义。 特别是，用户和项目的嵌入通过以下定义的异构融合过程进行更新。

3. Cross-View Meta Network

HGCL 旨在通过结合来自用户社交联系和项目外部依赖性的异构关系知识来增强协同过滤。 然而，在现实生活中的用户建模场景中，用户和项目辅助信息对用户-项目交互模式的影响可能因用户而异。 例如，一些用户更容易受到社交朋友推荐的影响，而另一些用户则经常根据自己的喜好来采用项目。 因此，有必要从辅助信息中进行个性化知识迁移，以指导用户特定偏好的学习。 为此，我们设计了一个跨视图元网络，以实现用户和项目端的定制知识蒸馏。

4. Meta Knowledge Extraction.(元知识抽取)

用户-项目视图的嵌入捕获了用户与项目相关的交互模式。 附加的邻域信息明确增强了直接图连接的建模。 通过共同考虑信息的三个维度，元知识能够很好地反映个性化跨视图知识转移的重要上下文信号。

5. Personalized Cross-View Knowledge Transfer.

3.4 Heterogeneous Relational Contrastive Learning for Augmentation

1. Cross-View Contrastive Learning.
   

2. InfoNCE-based Contrastive Loss

增强对比学习中的用户/物品表示学习

参数解释：

5.Optimization Objectives of HGCL