【论文解读】AAAI-2023图对比学习论文MA-GCL

论文标题：MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning

会议：The Thirty-Seventh AAAI Conference on Artificial Intelligence

论文链接：https://arxiv.org/pdf/2212.07035.pdf

代码及数据集链接：GitHub - GXM1141/MA-GCL

问题引入

对比学习能够提取不同对比视图之间共享的信息，已成为视觉表征学习的一种流行范式。受计算机视觉领域的成功启发，最近的工作将CL引入到图建模中，称为图对比学习( GCL )。然而，在图中生成对比视图比在图像中生成对比视图更具有挑战性，因为我们对如何在不改变labels的情况下显著增强图的先验知识很少。我们认为GCL中典型的数据增强技术(例如,边缘下降)不能生成足够多样化的对比视图来过滤噪声。此外，先前的GCL方法使用两个具有完全相同的神经结构和固定参数的视图编码器，这进一步损害了增强视图的多样性。

为了解决这个问题，我们提出了模型增强GCL ( MA-GCL )，它将专注于操纵视图编码器的结构，而不是干扰图输入。具体来说，我们提出了3种易于实现的GCL模型增强技巧，即非对称、随机和洗牌（即调换顺序），它们分别有助于缓解高频噪声、丰富训练实例和带来更安全的增强。这三种技巧都与典型的数据增强方法兼容。MA-GCL是一个即插即用的组件，通过在一个简单的基础模型中应用三种模型增强的方法。实验结果表明，通过在一个简单的基模型上应用这三种方法，MA - GCL可以在节点分类上达到最先进的性能。

方法详解

为了解决现有GCL方法的局限性，我们将专注于操纵视图编码器结构作为模型增强。在这一部分中，我们首先分别介绍三种策略及其益处。然后，我们将通过将三种技巧结合到一个简单的基础模型来说明整体算法。

策略一：非对称策略

一句话总结：使用参数共享但传播层数不同的编码器可以缓解高频噪声。

我们要解决的问题是什么

对比学习( contrastive learning，CL )可以提取不同视图之间共享的信息，从而过滤掉只出现在单个视图中的与任务无关的噪声。如图1所示，其中每个区域的面积表示信息量，CL的学习表示包括任务相关信息(区域D )和任务无关噪声(区域C )。直观上，两种观点不宜太远( 太远导致有关信息有限)或太近(无关信息太多)。我们认为，以往GCL方法中的两个视图过于接近，原因有两点：( 1 )以往的GDA技术在保持任务相关信息不变的情况下，无法产生足够多样的增强；( 2 )两个视图编码器具有完全相同的神经架构和参数，加强了视图之间的紧密程度。

解决方法

我们提出使用具有共享参数但传播层数不同的非对称视图编码器。如图1 ( b )所示，我们可以通过对不同视图应用不同的传播层数来推动两个视图彼此远离，并且共享参数可以确保它们之间的距离不会太远。这样，GCL (区域C )中的噪声就可以得到缓解。我们使用了两个具有相同数量的h算子（线性变换层transformation layer）但不同数量的g算子(特征传播层propagation layer)的GNN编码器。

本文以典型 GNN 作为 view encoder，但是作者使用了一种新的方式来形式化GNN。GNN可以形式化为传播和转换两个过程。在图神经网络（GNN）中，

• "propagation layer"（传播层）是用来传递节点信息的层，其输入是上一层节点的特征（也称为"embedding"），输出是每个节点的聚合邻居信息的向量。传播层的目的是将每个节点的邻居信息合并到节点特征中，以便更好地描述节点的属性和关系。
• 而"transformation layer"（转换层）则是对节点特征进行非线性变换的层。这些变换可以帮助学习到更丰富和复杂的节点特征，以提高图神经网络的性能。转换层通常由多个全连接层或卷积层组成，并使用激活函数（如ReLU）来增加网络的非线性能力。

策略二：随机策略

一句话总结：在每个epoch中随机改变视图编码器中传播算子g的数量可以丰富训练实例。

我们在每个epoch中随机采样( ，而不是使用一个固定的L。原因是，改变传播深度可以丰富训练实例的多样性，从而有助于预测下游任务。

策略三：洗牌策略（Shuffling）

一句话总结: 打乱传播（propagation）算子和变换（transformation）算子在每个epoch的排列使得增强更安全。

现有的GDA技术通常会对图拓扑结构进行随机扰动，并需要承担破坏关键连边(例如,脱落一个重要的化学键)的风险。为了解决这个问题，我们提出在两个视图编码器中使用不同的操作符g和h的排列作为更安全的增强。形式化地说，如果视图编码器f有L个g算子和N个h算子，那么f为：

其中，表示两个算子的合成，表示GCN的第i个变换层，表示g的L个算子的合成。用不同的集合作为另一视图编码器。改变传播算子和变换算子的顺序不会改变输入图的语义，但会扰乱编码后的表示，作为更安全的增强。

MA-GCL整体算法

我们将在一个简单的基础模型上应用这三种策略得到MA - GCL。基础模型（有参与实验）采用随机边/特征丢弃，图滤波器,2层embedding projector和InfoNCE损失进行学习。需要说明的是，基准模型可以看作是GRACE (下图)的简化版本，只进行intra-view建模。训练阶段结束后的评估阶段，我们将使用固定的编码器架构，并丢弃embedding projector，我们设置K1 = K2 = . . . Kn = K，其中K∈{ 1，2 }是一个超参数。

实验

其中public splits是指训练集、验证集和测试集的比例，对于Cora和CiteSeer，K1 = K2 = 2，对于其他数据集，K1 = K2 = 1。

总结

在本文中，我们强调了先前GCL方法的一个关键的局限，即它们的对比视图过于接近，无法有效地过滤噪声。然后，我们提出了模型增强，它专注于操纵视图编码器的神经结构，而不是干扰图输入或模型参数。具体来说，我们提出了三种针对GCL的模型增强策略：非对称、随机和洗牌，它们分别有助于缓解高频噪声、丰富训练实例和带来更安全的增强。通过这三种技巧，两个对比视图可以保持适当的距离，即既不能太远(失去与任务相关的语义)，也不能太近(引入不必要的噪声)。