Contrastive Multi-View Representation Learning on Graphs阅读笔记

Contrastive Multi-View Representation Learning on Graphs

在图上用最大化互信息MI来学习表示，主要延伸GraphInfoMax 和SimSLR，又有孪生网路的结构又用了对比互信息。
最大化从图的不同结构视图编码的表示之间的MI来引入自监督方法来训练图编码器。

观点

1. 将视图数量增加到两个以上不会提高性能，就用两个对比就行
2. 通过对比来自一阶邻居的编码和图扩散这两个视图，可以实现最佳性能
3. 跨视图对比节点和图的编码能够取得更好的结果
4. 与分层图池化方法相比，简单的图读出层在两项任务上均具有更好的性能
5. 应用正则化或归一化对性能有负面的影响

模型

1. 节点级和图级进行多视图表示学习
2. 图扩散用于生成样本图和其他结构视图。样本图是同一图的相关视图，仅应用于图结构，不应用于初始节点。并进行子图采样。
3. 用两个专用的GNN和MLP（共享权重）学习节点级的表示。
4. 池化层和MLP层为读出功能，读出图级表示。
5. 鉴别器将一个视图的节点表示与另一视图的图级表示进行对比学习。

数据增强

数据增强可以分为两种：

1. 对初始节点特征进行操作的特征空间增强，例如，掩盖或添加高斯噪声
2. 通过添加或删除连接性，子采样或使用最短距离或扩散矩阵生成全局视图，对图结构进行操作的结构空间扩充和破坏。
3. 在大多数情况下，将邻接矩阵转换为扩散矩阵并将这两个矩阵视为同一图结构的两个全等视图，即可获得最佳结果。我们推测是因为邻接矩阵和扩散矩阵提供了，图结构的局部和全局视图分别最大化了从这两个视图中获悉的表示形式之间的一致性，从而使模型可以同时对丰富的局部和全局信息进行编码。

扩散矩阵定义

读出函数

将每个GCN层中节点表示的总和串联起来，然后将其馈送到单层前馈网络，以使节点表示与图形表示之间的尺寸大小保持一致。g表示全局的表示

Loss

伪代码

总结

这篇工作不用了两个视角，把图像上的东西搬过来，模型还是有些建设性意义的。类似两个GAN结合的文章