介绍
GNN—标签资源时间监督 ------ GCL受关注(MI),GraphCL 4种增强对于不同领域是不一样的,比如丢弃边对于社交网络ok,但是可能改变分子结构中的语义。 JOAO 是自动选择合适的参数和aug方法,但是还需要人为的定义aug池,并且搜索计算上复杂。如何不通过 试错(trial and error)或者 昂贵的领域知识进行图对比学习?
本文不是设计aug的方式,而是graph输入到encoder和一个perturbed的encoder 形成两个视角。这两个作为正样本对,随机的另外一个图,作为负样本。 同时本文提出了一个AT-SimGrace来增强鲁棒性
graphcl的aug会破坏语义,mocl虽然不破坏 但是需要昂贵的领域知识
相关工作
介绍预测式的GSSL。本文是基于对比的。
方法
3.1 SimGrace
3.1.1. encoder perturbation
采用从高斯分布采样的0均值,方差的噪声来对encoder的参数进行 干扰
这里作者说了 MERIT+BGRL也采用online+target。但1). 他们都是动量更新的。2)且都需要数据增强。 3)本文关注于graph-level
3.1.2 . Projection head
2层MLP
3.1.3. 对比损失
采用NT-Xent。 温度归一化交叉熵
这里负样本的选取是 选择当前batch图其余N-1个。
3.2 为什么表现好
这里 借用了 CV那篇对比学习分析的文章,计算 uniform(所有样本对之间距离平均高斯指数)+align(正样本对距离)
simGRACE align小 表明正样本对更近 uniform越小,表明 样本分布越均匀
3.3 AT-SimGRAC
GraphCL对于random攻击比较鲁棒,但是他没有解释,并且不能应对对抗攻击。本文利用对抗训练AT来提高SimGRACE的对抗鲁棒性。通过将对抗样本包含到训练过程,目标如下:x‘是对抗样本,损失是交叉熵。
直接采用存在的问题: 1.图对比没有标签 2.对抗训练昂贵。
为了解决,本文采用infonce替换了交叉熵。 同时不采用对抗生成样本,而是通过对抗的方式perture encoder
实验
感兴趣可以去看原文~