【论文阅读】Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming

目录

目录

摘要

1.引言

2.相关工作

3.公式化问题

4.研究方法

A.图的增强和编码

Graph Sampling (GS):

Edge Dropout (ED)

Node Feature Dropout (NFD)

B.Graph Contrastive Learning with Adjusted Zooming

Micro (node-level) contrastiveness:

Meso (neighboring-level) contrastiveness:

Macro (subgraph-level)​

A. Time complexity of G-Zoom

B. Extending G-Zoom to large-scale graphs

5.实验

总结

摘要

之前的图对比学习只侧重于图的某一个结构信息(节点级或子图级)，该研究提出了一种新的自监督图表示学习算法——G-Zoom，通过图对比调整缩放来从多个尺度的图中提取节点（微观）、邻域（中观）和子图（宏观）的图结构信号，以学习无监督的图表示。该模型可以手动选择位于微观和宏观视角之间的最佳视点以更好地理解图形数据，并采用并行图的扩散方法使其可扩展到大型图。实验结果表明该模型优于最先进的方法。

1.引言

目前大多数GNN取得了很好的效果，然而这些方法大多采用有监督学习，并广泛依赖于标签信息，在现实世界中收集这些信息既费力又昂贵。为了解决这一问题，出现了一些基于对比学习的自监督GRL方法。

虽然这些方法虽然取得了很好的效果，但都采用了单调的图对比学习，只从单一固定的角度来检查图结构数据。例如，DGI和MVGRL只进行patch和全局表示的对比，即从全局角度进行对比。GRACE、Subg-Con和GMI等方法没有从宏观角度考虑对比度，只是通过最大化两个增强视图中patch表示之间或节点与邻居表示之间的一致性来强调目标节点的局部结构。

通俗的话来说就是之前的研究要么忽略全局信息，要么忽略局部信息，基于此点本文提出了G-Zoom。一种新颖的图自监督表示学习算法，该算法具有新颖的图对比调整缩放机制，为了提出该方案，我们将图像缩放与我们提出的图调整缩放进行了类比说明，如图1所示。

上面的狗头就代表了三种观测状态，分别代表微观，中观，宏观。在图领域中，从微观角度来看，我们可以检查数据中选定区域的最微弱的细节，即图像的像素或图形的节点。中观视角的考察介于微观视角和宏观视角之间，我们可以选择一个特定的区域(即缩放等级的定制程度)来挖掘这一视点所蕴含的有价值的信息。从宏观角度来看，及采样的整个子图领域，关注整个结构信息。

本篇文章的主要贡献：

1. 我们提出了一种新的算法，即G-Zoom，以无监督的方式学习图表示。据我们所知，这是第一次尝试在跨越三个不同图拓扑层次的多个尺度上进行图对比学习。
2. 我们提出了图调整缩放机制，旨在促进多尺度图从多个角度进行对比学习，丰富自监督信号，克服现有工作的局限性。
3. 我们在真实世界的数据集上进行了大量的实验，以验证我们提出的方法的有效性。结果表明，我们的模型始终优于最先进的基线。

2.相关工作

文章采用一层GCN为编码器，并且可以替换为任何图编码器。

无监督学习主要包括自编码器，但自编码器严重依赖于相邻节点相似的特点，这点有待证明。

提出了一种调整缩放对比学习机制，用于G-Zoom中综合多尺度对比。此外，G-Zoom还可以扩展到处理大规模图形。这个扩展的详细解释显示在分段V-A。以下部分的大量实验已经证明了G-Zoom在图表示学习方面的优势。

3.公式化问题

消息传递网络的定义，比较简单

目标是给定一幅图，目的是训练我们的图神经网络编码器gθ，最终得到一个d维的嵌入向量代表我们的节点，并且是不依赖于节点标签信息的。

4.研究方法

A.图的增强和编码

 Graph Sampling (GS):

首先确定一个B个相关节点需要采样，每个节点采样K个节点（文章没有给出，应该是随机游走，没有权重随机采样），得到的子图可能小于BxK个，在没有采样的节点中随机抽取一部分填充到不够的节点邻居集合中。这样的采样方式在大规模图中有很大的优势。

Edge Dropout (ED)

使用预定义的概率p, ED首先在子图G中随机移除概率为p的边，然后将相同比例的边添加回它。加边和删边过程都遵循均匀分布。

Graph Diffusion (GD)

图扩散模型相比GCN能够更多的融合周围邻居的信息，定义公式如下：

其中θa是一个加权项，用于确定要编码的局部信息和全局信息的比例。T∈Rn×n为广义转换矩阵。这里不重要，看本篇文章定义的公式。

 α是可以定义的参数，定义的扩散矩阵为如上所示。

 如上图所示的图G，α=0.5时的扩散矩阵为：

可以看到矩阵中融合了各个节点的信息，具有更丰富的语义信息，但这种方式不利于大规模图的计算，之后将介绍一种更快速的公式。

Node Feature Dropout (NFD)

随机将节点的属性drop掉，也就是将节点的特征矩阵置为0。

得到我们的采样图G1 and ˆG2.后送入到编码器中：

得到的表示用H1和H2表示。

B.Graph Contrastive Learning with Adjusted Zooming

Micro (node-level) contrastiveness:

将不同的节点视为Negetive对，将相同的节点视为Positive对，注意在图中只有t1和t2是相似对，公式如下：

其中s(h1,h2)为余弦相似度，B表示批处理中目标节点的数量，v∈[1,2]表示其中一个增强视图。当v = 1时，hi v表示节点i在H1中的表示，当v = 2时，hi v为节点i在H2中的节点表示。将参数置于相反的位置，即(ht2,ht1)，将损失L(ht2,ht1)与L(ht1,ht2)组合，以增强自监督信号。我们模型微观层面的目标函数定义如下:

 该公式满足对称性，这样可以更好的采样节点的信息。

Meso (neighboring-level) contrastiveness:

 

 中观位于微观和宏观之间，本文是这样定义中观上的对比学习的：

对H1和H2中的邻居节采样前K个重要的节点，重要性可以采用随机游走序列，出现次数越代表重要，这里使用了PPP算法，就是之前的公式三，可以往上翻。

公式如下：

h1t和n2t进行对比学习，h2t类似，期中的D函数为： 

 WD为dXd维，可学习的矩阵

最后得到我们的损失函数为：

Macro (subgraph-level)

 简单来说直接将H1t和H2t送到池化层得到S1和S2，对比h1t,S2和h2t，S1.公式如下：

 最终我们得到我们最后的损失函数：

期中的三个参数α，β，γ可以通过调节它们来进行对不同层面的信息侧重程度 。

最终得到的嵌入向量表示形式为：

也就是将俩个向量直接相加。 

如图是算法总览：

A. Time complexity of G-Zoom

这篇文章的时间复杂度分析为：

B. Extending G-Zoom to large-scale graphs

为了减少时间复杂度，文章采用PPR核的逐行幂迭代扩散方法，该方法不是公式三立即得到最终扩散图，而是逐个节点计算重要性值，然后将所有输出的重要性向量拼接在一起，形成最终扩散图。

 

该方法采用了迭代的形式计算，省去了计算矩阵逆的时间，V节点周围所有向量的重要性保存在Πppr中（这里没有太理解优化方法，个人感觉是通过ppr的子采样方式采样K个重要的邻居，然后记录在Π中进行迭代计算）

5.实验

这张表对无监督学习和有监督学习都进行了对比，效果甚至比大部分有监督学习更好。

 消融实验，分别记录了单独使用微观/中观/宏观信息的效果，证明了各个节点信息的有效性。

 

总结

这篇文章提出了一种新的框架G-Zoom，这是一种基于对比调整缩放的图自监督学习方法。

主要贡献是融合了三种层面的信息结构，之后的读者可以考虑在多个层面抓取图的结构信息用于学习。