BGRL:Large-Scale Representation Learning on Graphs via Bootstrapping
文章地址：Large-Scale Representation Learning on Graphs via Bootstrapping
Motivation
Contribution
Method
-
先利用Augmentation对图进行增强，经过一个GNN动量编码器层（同Moco），再经过一个GNN的预测层 p θ p_{\theta} pθ完成两个视图的构建
- 注：计算Loss时没有先使用BYOL中类似的FFN进行降低维度操作，对图任务利用FFN会导致维度过小信息不足
- 对比所有节点对的余弦相似度使二者靠近，并且做了对称损失
- symmetry-breaking technique对称性破坏技术
-
Loss
− 2 N ∑ i = 0 N − 1 Z ~ ( 1 , i ) H ~ ( 2 , i ) ⊤ ∥ Z ~ ( 1 , i ) ∥ ∥ H ~ ( 2 , i ) ∥ {-\frac{2}{N}\sum_{i=0}^{N-1}\frac{\widetilde{\mathbf{Z}}_{(1,i)}\widetilde{\mathbf{H}}_{(2,i)}^{\top}}{\|\widetilde{\mathbf{Z}}_{(1,i)}\|\|\widetilde{\mathbf{H}}_{(2,i)}\|}} −N2∑i=0N−1∥Z (1,i)∥∥H (2,i)∥Z (1,i)H (2,i)⊤
直观解释：对两图中对应节点取余弦距离，并求和取平均
Details
3623
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
