StructComp Substituting propagation with Structural Compression in Training Graph Contrastive Learni

发表于:ICML24
推荐指数: #paper/⭐
领域:大图学习
主要思路:
1.将邻接矩阵分解${\hat{A}}^k=C{C}^T$以此来加速图传播过程(如果A是$n\ast n$,那么P:$n\ast n^{\prime }$,高阶的A就可以变为:)
2.提出基于C的图增广

主要过程

1.加速
minimize ∥ P ′ P T − A ^ k ∥ , subject to P ′ ∈ { 0 , 1 } n × n ′ , P ′ 1 n ′ = 1 n . \begin{aligned}&\text{minimize}\quad\|P^{\prime}P^T-\hat{A}^k\|,\\&\text{subject to}\quad P^{\prime}\in\{0,1\}^{n\times n^{\prime}},P^{\prime}1_{n^{\prime}}=1_n.\end{aligned} ​minimize∥P′PT−A^k∥,subject toP′∈{0,1}n×n′,P′1n′​=1n​.​
其中,$P_{ij}^{\prime }=1$当且仅当节点i属于类j,P是P’的行正归一化版本
2.图增强

Multi-view StructComp. 在多视图对比学习中，我们需要比较图的两个扰动视图。这不仅要求我们压缩节点特性，还要求我们对这些压缩特性进行数据增强。然而传统的数据增强方法，如DropEdge，在StructComp中是不适用的。为了填补这一空白，我们引入了一种新的数据增强方法，称为“DropMember”。该技术为生成压缩节点的不同表示提供了一种新颖的方法，这对于StructComp下的多视图对比学习是必不可少的。
DropMember方法是基于预先确定的分配矩阵P实现的。对于压缩图中代表一个社区的每个节点，我们随机丢弃社区内的一部分节点，重新计算社区特征。对于增强的 𝑋𝑐′ 中的每个团簇j有：
$$x_j^{\prime }=\frac{1}{s^{\prime }}\sum _{i=1}^s{m}_i{x}_i.$$

通过对DropMember后获得的压缩特征和完整的压缩特征进行对比学习，可以训练一个健壮的编码器。社区内部分节点信息的丢失并不影响社区的嵌入质量

$$Z_c=\sigma (\sigma (X_c{W}_1)W_2),Z_c^{\prime }=\sigma (\sigma (X_c^{\prime }{W}_1)W_2).$$

总结

创新性一般