文献阅读（57）ICML Workshop2020-Deep Graph Contrastive Representation Learning

本文是对《Deep Graph Contrastive Representation Learning》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Deep Graph Contrastive Representation Learning》

——ICML Workshop2020

Author: Yanqiao Zhu

总结

文章将对比学习的思想引入到网络表征学习中，提出了GRACE算法。通过使用边移除和节点特征掩码为每个节点生成两个视图。在优化目标方面，约束这两个视图的相似度接近，同时视图与其他负样本节点的相似度偏离。在选取负样本方面，分别考虑了视图内部的负样本和跨视图的负样本。最终，还给出了互信息最大化和经典三元损失的理论阐述。其示意图如下：

1 问题定义

给出图G=(V,E)，定义其特征矩阵为X，拓扑矩阵为A，文章目标是学习一个基于GNN的编码器，通过特征矩阵和拓扑矩阵的输入，来为每个节点学习嵌入，表示为H=f(X,A)。

2 对比学习框架

具体而言，文章引入了对比学习的思想，为每个节点学习两个视图，其对应的节点嵌入分别记为u和v，衡量两个嵌入相似度的计算公式如下：

那么，对于单对视图的损失计算公式如下：

注意到，分母可分为三个部分，第一个部分为视图对本身的相似度，第二部分是与视图内部负样本的相似度，第三部分是与另一视图内负样本的相似度。优化目标即约束视图对本身的相似度尽可能大，同时第二第三部分的相似度尽可能小，从而使得整体损失尽可能大。在损失函数收敛上，可以看到第一部分同时在分子和分母中出现，这一部分不断增大，另外两部分不断减小，那么最终整个分数的值就会趋近于1，因此是可以收敛的。另一方面，应当注意到上述公式的损失是以u为中心的，那么对v的损失是对称的，整个模型的总损失即：

该模型的伪代码如下：

3 视图生成

上述介绍了整个模型的具体框架，有一个重要的问题要进一步介绍，即节点两个视图的生成。具体而言，算法分别采用边舍弃和节点特征掩码两种操作来生成两个不同的视图。

3.1 边舍弃

在此，文章构造了一个源于伯努利分布的随机掩码矩阵R，按照一定的概率p_r对每个位置判断是否执行掩码操作，最终将掩码矩阵和拓扑矩阵相结合，就实现了对边的随机舍弃。

3.2 节点特征掩码

文章构造了一个随机掩码向量m，同样是遵循伯努利分布，按照概率p_m对每个位置进行掩码，最终与节点特征矩阵相结合，为每个节点特征执行随机掩码操作。

此外，文章还对互信息最大化和经典三元损失进行了理论阐述，在此不再介绍。