WWW22 ：SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation

最新推荐文章于 2024-04-30 18:00:58 发布

Complicated__76

最新推荐文章于 2024-04-30 18:00:58 发布

阅读量518

点赞数

分类专栏： GNN-graph-level GNN-SSL learning 文章标签：机器学习人工智能 python

本文链接：https://blog.csdn.net/qq_40926715/article/details/127589634

版权

GNN-SSL learning 同时被 2 个专栏收录

37 篇文章 11 订阅

订阅专栏

GNN-graph-level

6 篇文章 0 订阅

订阅专栏

介绍

GNN—标签资源时间监督 ------ GCL受关注（MI），GraphCL 4种增强对于不同领域是不一样的，比如丢弃边对于社交网络ok，但是可能改变分子结构中的语义。 JOAO 是自动选择合适的参数和aug方法，但是还需要人为的定义aug池，并且搜索计算上复杂。如何不通过试错（trial and error）或者昂贵的领域知识进行图对比学习？

本文不是设计aug的方式，而是graph输入到encoder和一个perturbed的encoder 形成两个视角。这两个作为正样本对，随机的另外一个图，作为负样本。同时本文提出了一个AT-SimGrace来增强鲁棒性
graphcl的aug会破坏语义，mocl虽然不破坏但是需要昂贵的领域知识
在这里插入图片描述

方法

3.1 SimGrace

3.1.1. encoder perturbation

采用从高斯分布采样的0均值，方差的噪声来对encoder的参数进行干扰
在这里插入图片描述
这里作者说了 MERIT+BGRL也采用online+target。但1）. 他们都是动量更新的。2）且都需要数据增强。 3）本文关注于graph-level

3.1.2 . Projection head

2层MLP

3.1.3. 对比损失

采用NT-Xent。温度归一化交叉熵
这里负样本的选取是选择当前batch图其余N-1个。
在这里插入图片描述

3.2 为什么表现好

这里借用了 CV那篇对比学习分析的文章，计算 uniform（所有样本对之间距离平均高斯指数）+align（正样本对距离）
simGRACE align小表明正样本对更近 uniform越小，表明样本分布越均匀
在这里插入图片描述

3.3 AT-SimGRAC

GraphCL对于random攻击比较鲁棒，但是他没有解释，并且不能应对对抗攻击。本文利用对抗训练AT来提高SimGRACE的对抗鲁棒性。通过将对抗样本包含到训练过程，目标如下：x‘是对抗样本，损失是交叉熵。
在这里插入图片描述
直接采用存在的问题： 1.图对比没有标签 2.对抗训练昂贵。
为了解决，本文采用infonce替换了交叉熵。同时不采用对抗生成样本，而是通过对抗的方式perture encoder