【阅读笔记】Deep Graph Contrastive Representation Learning

Abstract

如今，图表示学习已成为分析图结构化数据的基础。受最近对比方法成功的启发，在本文中，我们通过在节点级别利用对比目标，提出了一种用于无监督图表示学习的新框架。具体来说，我们通过损坏生成两个图视图，并通过最大化这两个视图中节点表示的一致性来学习节点表示。为了为对比目标提供不同的节点上下文，我们提出了一种混合方案，用于在结构和属性级别上生成图形视图。此外，我们从互信息和经典的三元组损失两个角度为我们的动机提供了理论依据。我们使用各种真实世界的数据集对转导和归纳学习任务进行实证实验。实验实验表明，尽管它很简单，但我们提出的方法始终大大优于现有的最先进方法。此外，我们的无监督方法在转导任务上甚至超过了有监督的方法，证明了它在实际应用中的巨大潜力。

Introduction

在本文中，我们介绍了一个简单而强大的无监督图表示学习对比框架（图 1），我们将其称为深度 GRAph 对比表示学习（GRACE），由传统的自组织网络 [19] 及其最近视觉表示学习的复兴[17]。我们没有将节点级嵌入与全局嵌入进行对比，而是主要关注节点级嵌入的对比，并且我们的工作没有假设用于生成图嵌入的单射读出函数。在 GRACE 中，我们首先通过随机执行损坏生成两个相关的图视图。然后，我们使用对比损失来训练模型，以最大化这两个视图中节点嵌入之间的一致性。与具有丰富图像转换技术的视觉数据不同，如何执行损坏以生成图形视图仍然是一个悬而未决的问题。在我们的工作中，我们共同考虑拓扑和节点属性级别的损坏，即去除边缘和掩蔽特征，为不同视图的节点提供不同的上下文，从而促进对比目标的优化。最后，我们提供了理论分析，揭示了从对比目标到互信息和经典三元组损失的联系。

Contributions

1. 首先，我们提出了一个用于无监督图表示学习的通用对比框架。提出的 GRACE 框架简化了以前的工作，并通过最大化两个图视图之间节点嵌入的一致性来工作。
2. 其次，我们提出了两种具体的方案，去除边缘和掩蔽特征，以生成图的视图。
3. 最后，我们使用六个流行的公共基准数据集在常用的线性评估协议下对感应和感应节点分类进行了全面的实证研究。

Method

Preliminaries

在无监督图表示学习中，令 G = (V, E) 表示一个图，其中 V = {v1, v2,···, vN }, E ⊆ V × V 分别表示节点集和边集。我们将特征矩阵和邻接矩阵表示为 X ∈ R^N×F 和 A ∈ {0, 1}^N×N，其中 xi ∈ R^F 是 vi 的特征，Aij = 1 iff (vi, vj) ​​∈ E。训练期间没有给定 G 中节点的类信息。我们的目标是学习一个 GNN 编码器 f(X, A) ∈ R^N×F' 接收图形特征和结构作为输入，它产生低维的节点嵌入，即 F' << F 。

我们将 H = f(X, A) 表示为节点的学习表示，其中 hi 是节点 vi 的嵌入。这些表示可以用于下游任务，例如节点分类。

节点表示的对比学习

与之前通过利用局部-全局关系来学习表示的工作相反，在 GRACE 中，我们通过直接最大化嵌入之间的节点级一致性来学习嵌入。具体来说，我们首先通过随机破坏原始图来生成两个图视图。然后，我们采用对比目标，强制两个不同视图中每个节点的编码嵌入彼此一致，并且可以与其他节点的嵌入区分开来。

在我们的 GRACE 模型中，在每次迭代中，我们生成两个图视图，表示为 𝐺1 和 𝐺2，并将两个生成视图中的节点嵌入表示为 U = f( 𝑋1, 𝐴1) 和 V = f( 𝑋2, 𝐴2) ，其中𝑋∗, 𝐴∗和eA*是视图的特征矩阵和相邻矩阵。

然后，我们采用对比目标（即鉴别器），将这两个不同视图中同一节点的嵌入与其他节点嵌入区分开来。对于任何节点vi，其在一个视图中生成的embedding ui被视为anchor，它在另一个视图vi中生成的embedding形成正样本，两个视图中vi以外的节点的embedding自然是视为负样本。形式上，我们定义critic θ(u, v) = s(g(u), g(v))，其中s是余弦相似度，g是非线性投影，以增强critic的表达能力。投影 g 使用两层多层感知器 (MLP) 实现。我们将每个正对 (ui, vi) 的成对目标定义为：

 其中 𝑙[𝑘!=𝑖] ∈ {0, 1} 是一个指示函数，当 k!=i 时等于 1，τ 是温度参数。请注意，在我们的工作中，我们没有明确地对负节点进行采样。相反，给定一个正对，我们自然地将负样本定义为两个视图中的所有其他节点。因此，负样本来自两个源，视图间或视图内节点，分别对应分母中的第二项和第三项。由于两个视图是对称的，因此另一个视图的损失对于'(vi, ui) 的定义类似。然后将要最大化的总体目标定义为所有正对的平均值，正式由下式给出：

综上所述，在每个训练 epoch，GRACE 首先生成图 G 的两个图视图 𝐺1 和 𝐺2。然后，我们使用 GNN 编码器 f 获得 𝐺1 和 𝐺2 的节点表示 U 和 V。最后，通过最大化方程式（2）中的目标来更新 f 和 g 的参数。学习算法总结在算法 1 中。

图形视图生成

生成视图是对比学习方法的关键组成部分。在图域中，图的不同视图为每个节点提供不同的上下文。考虑到依赖于不同视图中节点嵌入之间对比的对比方法，我们建议在结构和属性级别破坏原始图，从而为模型构建不同的节点上下文以进行对比。在 GRACE 中，我们设计了两种用于图损坏的方法，即为拓扑删除边和为节点属性屏蔽特征。如何执行图损坏仍然是一个悬而未决的问题 。在我们的框架中采用其他替代机制的腐败方法是灵活的。

去除边缘 (RE)

我们随机删除原始图中的一部分边。形式上，由于我们只删除现有的边，我们首先采样一个随机掩蔽矩阵 𝑹 ∈ {0, 1}^N×N，其条目来自伯努利分布：如果原始图的 Aij = 1，𝑹𝒊,𝒋 ~𝐵(1−𝑝𝑟)，否则为0.这里 𝑝𝑟 是每条边被移除的概率。得到的邻接矩阵可以计算为：

屏蔽节点特征 (MF)

除了去除边缘外，我们还随机屏蔽了节点特征中为零的部分维度。形式上，我们首先对随机向量 𝑚 ∈ {0, 1}^F 进行采样，其中它的每个维度独立地从概率为 1 - 𝑝𝑚 的伯努利分布中提取，即 mi ∼ B(1 - 𝑝𝑚),然后，生成的节点特征 𝑋 由下式计算：

这里 [·; ·] 是连接运算符。

请注意，尽管我们提出的 RE 和 MF 方案在技术上与 Dropout [30] 和 DropEdge [31] 相似，但我们的 GRACE 模型和两种引用的方法是出于根本不同的目的而提出的。 Dropout 是一种通用技术，它在训练期间随机掩盖神经元，以防止大规模模型的过度拟合。在图域中，提出了 DropEdge 以防止 GNN 架构过深时的过度拟合和缓解过度平滑。然而，我们的 GRACE 框架随机应用 RE 和 MF 来生成不同的图视图，以便在图拓扑和节点特征级别进行对比学习。此外，GRACE 中使用的 GNN 编码器是一个相当浅的模型，通常只有两层或三层。

在我们的实现中，我们共同利用这两种方法来生成图形视图。 𝑮𝟏 和 𝑮𝟐 的生成由两个超参数 𝒑𝒓 和 𝒑𝒎 控制。为了在两个视图中提供不同的上下文，两个视图的生成过程使用了两组不同的超参数 pr,1, pm,1 和 pr,2, pm,2。实验表明，我们的模型在温和条件下对 pr 和 pm 的选择不敏感，因此原始图不会过度损坏，例如 pr ≤ 0.8 和 pm ≤ 0.8。我们建议读者参考附录 C.1 中的敏感性分析以获得经验结果。

实验