AFGRL:Augmentation-Free Self-Supervised Learning on Graphs
文献地址:Augmentation-Free Self-Supervised Learning on Graphs
Motivation
-
图对比的正例对构造对增强方法敏感,由于图包含了语义信息和结构信息,因此在对边进行不同增强方法时,可能会影响其语义
-
对不同数据分布的数据集,模型增强的参数需要分别进行调整
-
简单的将其他节点特征看作负样本等同于忽略了图的结构信息,因此不一定从这种样本偏置中获益
Comment
-
对BGRL的工作进行了总结,认为BGRL虽然并没有使用负样本,但是利用了图增强技术,因此可能同样会损坏图结构信息,同时也造成BGRL对增强超参数的敏感和不同数据分布的数据集上超参数差异过大的问题,应该以更强的方式替代这种方法
Contribution
Method
-
Local Positive
-
K-NN(K近邻)
计算所有online network节点在target network上的K个近邻节点(称online network上的节点为query节点)
s i m ( v i , v j ) = h i θ ⋅ h j ξ ∥ h i θ ∥ ∥ h j ξ ∥ , ∀ v j ∈ V sim(v_i,v_j)=\frac{\mathbf{h}_i^\theta\cdot\mathbf{h}_j^\xi}{\|\mathbf{h}_i^\theta\|\|\mathbf{h}_j^\xi\|},\forall v_j\in\mathcal{V} sim(vi,vj)=∥hiθ∥∥hjξ∥hiθ⋅hjξ,∀vj∈V
-
Adjacency(邻居节点)
验证了不同数据集中随机初始化双层GCN处理后的K近邻同类/标签比例,随机相邻节点同类/标签比例,及二者交集的比例
相邻节点集合的分类比例会偏向于目标节点的类别,即平滑性假设(smoothness assumption)
adj.为邻接节点集,Rand.GCN为随机初始化GCN后KNN计算的节点集合,计算结果为相同类/标签概率
利用二者交集作为Local Positive选择范围
-
Global Positive
-
该节点与目标节点处在一个聚类的簇(cluster)里-K-Means
-
为了获取能够与目标节点共享全局结构信息的非相邻节点作为正样本
-
利用K-Means聚类所有target network中的节点,将与目标节点相同簇且是该目标节点K近邻的节点作为Global Positive
注:由于K-Means对初始化的聚类中心敏感,因此做了M次随机中心的聚类,并先将所有获得的节点取并集再与K近邻取交集
-
Loss函数
Details
!!!This indicates that instance discrimination, which treats all other nodes except itself as negatives without consider-ing the graph structural information, is not appropriate forgraph-structured data, especially for clustering in which theglobal structural information is crucial
!!!这表明,将除自身之外的所有其他节点视为阴性而不考虑图结构信息的实例判别法不适用于图结构数据,特别是对于全局结构信息至关重要的聚类
-
超参数测试
K是KNN的查找个数,M是聚类次数
-
消融实验
证明在图结构中K-NN代表的全局信息相较于Cluster代表的节点内部表征更有优势,甚至KNN的方法能获取足够多的局部信息即节点信息表征
-
embedding维度对比
证明AFGRL的Large-Scale能力很强,对细粒度的信息抓取能力很高
同时一定程度上表明,原有的实力对比方法会丢失细粒度信息,造成维度增大后饱和速度极快
-
可视化