图对比学习论文笔记

参考文献：Hassani K, Khasahmadi A H. Contrastive multi-view representation learning on graphs[C]//International conference on machine learning. PMLR, 2020: 4116-4126.

摘要

引入了一种通过【对比（图的结构视图）】来学习节点和图级表示的自监督方法。并且通过对比一阶邻居和图扩散的编码来实现最佳性能。

 Microsoft PowerPoint - self_supervision3.pptx (inria.fr)

3.方法

通过最大化一个视图的节点表示和另一个视图的图表示之间的MI来学习节点和图表示，反之亦然，与在节点和图分类任务上对比全局或多尺度编码相比，获得了更好的结果(见4.4节)。

如图1所示，我们的方法由以下组件组成:

（1）一种增强机制。我们只将增强应用于图的结构，而不是初始节点特征。接下来是一个采样器，从两个视图中对相同的节点进行子采样。

（2）两个专用的gnn，即图形编码器，每个视图一个，然后是一个共享的MLP，即投影头，以学习两个视图的节点表示。

（3）一个图形池层，即读出函数，然后是一个共享的MLP，即投影头，以学习两个视图的图形表示。

（4）一个鉴别器，将一个视图的节点表示与另一个视图的图表示进行对比，反之亦然，并对它们之间的一致性进行评分。

3.1增强

考虑图上的两种增强:

(1)在初始节点特征上的特征空间增强，例如，屏蔽或添加高斯噪声;

(2)在图结构上的结构空间增强和破坏，通过添加或删除连通性、子采样或使用最短距离或扩散矩阵生成全局视图。

前一种增强可能存在问题，因为许多基准测试不携带初始节点特征。此外，我们观察到在任何一个空间上屏蔽或添加噪声都会降低性能。因此，我们选择生成一个全局视图，然后进行子采样。

在大多数情况下，通过将邻接矩阵转换为扩散矩阵并将两个矩阵视为同一图结构的两个congruent视图(见4.4节)，可以获得最佳结果。我们推测，因为邻接矩阵和扩散矩阵分别提供了图结构的局部和全局视图，从这两种视图中学习到的表示之间的最大一致性使得模型同时编码丰富的局部和全局信息。

3.2编码

节点表示：

我们采用简单常用的图卷积网络(GCN)作为基础图编码器。如图1所示，我们为每个视图使用一个专用的图形编码器。我们将邻接矩阵和扩散矩阵视为同一图的两个一致视图，并将GCN层定义为，以学习每一个视图的节点表示。

图表示：

对于每个视图，在投影头之前,我们使用图池(读出)函数P(.) 将GNNs学习到的节点表示聚合为图表示。我们使用类似于跳跃知识网络(JK-Net)的读出函数(Xu et al .， 2018)，其中我们将每个GCN层中的节点表示的总和连接起来，然后将它们提供给单层前馈网络，以在节点和图表示之间具有一致的维度大小:

3.3训练

我们利用深度infoax (Hjelm等人，2019)方法，并通过将一个视图A的节点表示与另一个视图B的图表示进行对比，以及B的节点表示和A的图表示，从而最大化两个视图之间的互信息MI，从而得到参数。

 对比多视图图表示学习算法：

 5.结论

我们引入了一种自监督方法，通过对比图的两种结构视图(包括一阶邻居和图扩散)的编码来学习节点和图级表示。