图对比学习2020~2024的代表性论文

按时间顺序梳理图对比学习2020~2024的代表性论文

You等[7]首先提出了图对比学习框架，用于学习图数据的无监督表示。设计了4种类型的图增强来融合各种先验。然后，系统地研究了在半监督、无监督、迁移学习和对抗攻击四种不同的设置下，不同的图增强组合对多个数据集的影响。

Hassani等[8]表明，与视觉表征学习不同的是，将视图数量增加到两个以上或对比的多尺度编码并不能提高性能，并提出将节点与图进行对比学习。

Zhu等[2]提出了一种新的基于最大化节点层面一致性的图对比表示学习框架。模型通过首先使用两种提出的方案（去除边和屏蔽节点特征）生成对比视图，然后应用一个互信息对比损失来最大化这两个视图中节点嵌入的一致性。

Zhu等[5]提出了一种具有自适应增强的图对比表示学习方法，该方法结合了图的拓扑和语义方面的各种先验。具体来说，在拓扑层面，设计了基于节点中心性度量的增强方案，以突出重要的连接结构。在节点属性层面，通过对不重要的节点特征添加更多的噪声来破坏节点特征，以强制模型识别底层语义信息。

You等[6]提出了一个统一的双层优化框架，在对特定的图数据执行GraphCL时，自动、自适应和动态地选择数据增强。该框架所做的增强选择通常与从手工微调中观察到的"最佳实践"一致：但现在是自动化的，更灵活和通用的。此外，提出了一种新的增强感知投影头机制，它将通过在每个训练步骤中选择的不同增强对应的不同投影头来路由输出特征。

Gong等[1]认为GCL中典型的数据增强技术不能生成足够多样化的对比视图来过滤噪声。此外，先前的GCL方法使用两个具有完全相同的神经结构和绑定参数的视图编码器，这进一步损害了增强视图的多样性。为了解决这个问题，提出了一种名为模型增广GCL ( MA-GCL )的新范式，它将专注于操纵视图编码器的结构，而不是干扰图输入。具体来说，提出了3种易于实现的GCL模型增强技巧，即非对称、随机和洗牌，它们分别有助于缓解高频噪声、丰富训练实例和带来更安全的增强。这三种技巧都与典型的数据增强方法兼容。

Bu等[3]现有图数据增强的方法中，由于不一致的增强方案，增强视图中的节点很难从锚视图中继承图的语义和结构特性，这可能会损害增强视图中的节点一致性。本文提出了ConGCL（Consistency GCL）来提高经过数据增强之后的两个视图中对应节点的一致性。具体来说，我们考虑语义和结构属性，以更好地挖掘节点的潜在一致性关系。

Zhang等[4]提出了一种新的用于图对比学习的谱特征理论。在节点谱特征层面进行增强。

随机增强在训练过程中不可避免地会导致语义信息的损失，错使网络错误地关注语义不相关的结构。为了解决这些局限性并提高泛化性，Wei等[9]提出了一种新的GCL自监督学习框架，该框架通过利用提出的基于梯度的图对比显著性( Graph Contrastive Saliency，GCS )自适应地筛选图中与语义相关的子结构,即识别训练数据中哪些成分/节点最能保留图的语义内容，即代表图的内在真实潜在类别。

参考文献

1. Gong X, Yang C, Shi C. Ma-gcl: Model augmentation tricks for graph contrastive learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(4): 4284-4292.
2. Zhu Y, Xu Y, Yu F, et al. Deep graph contrastive representation learning[J]. arXiv preprint arXiv:2006.04131, 2020.
3. Bu W, Cao X, Zheng Y, et al. Improving Augmentation Consistency for Graph Contrastive Learning[J]. Pattern Recognition, 2024, 148: 110182.
4. Zhang Y, Zhu H, Song Z, et al. Spectral feature augmentation for graph contrastive learning and beyond[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(9): 11289-11297.
5. Zhu Y, Xu Y, Yu F, et al. Graph contrastive learning with adaptive augmentation[C]//Proceedings of the Web Conference 2021. 2021: 2069-2080.
6. You Y, Chen T, Shen Y, et al. Graph contrastive learning automated[C]//International Conference on Machine Learning. PMLR, 2021: 12121-12132.
7. You Y, Chen T, Sui Y, et al. Graph contrastive learning with augmentations[J]. Advances in neural information processing systems, 2020, 33: 5812-5823.
8. Hassani K, Khasahmadi A H. Contrastive multi-view representation learning on graphs[C]//International conference on machine learning. PMLR, 2020: 4116-4126.
9. Wei C, Wang Y, Bai B, et al. Boosting graph contrastive learning via graph contrastive saliency[C]//International conference on machine learning. PMLR, 2023: 36839-36855.