InfoGraph: 最大化互信息用于无监督学习和半监督学习

Summary

1. 本文通过最大化图级别表征和补丁表征之间的互信息来学习得到性能好的图表征，同时在该无监督图表征学习的基础上，结合一个监督学习网络，通过最大化监督学习和无监督学习网络之间的互信息，形成一个师生网络，得到更加强大的半监督学习模型。主要贡献如下：
   • 构建无监督学习模型InfoGraph，来学习图级别的表征，用于图级别的分类任务；
   • 构建半监督学习模型InfoGraph*，将两个分支网络结合，师生互助提升网络性能；
   • 无监督模型学习得到性能好的表征，半监督学习模型能够有较好的分类结果。

Problem Statement

2. 现有的大多数算法模型都是基于图节点表征学习的，较少有在图级别上的表征学习。但现有的很多数据都是以图的形式呈现出来的，例如蛋白质分子结构、社交网络、化学反应链接等等，且这些图数据的标签往往是比较难获取的，因此需要进行图级别的无监督表征学习。

Methods

3. InfoGraph：图级别的无监督表征学习。类似于DGI，通过最大化全局的图表征和局域的节点补丁表征之间的互信息。但互信息的衡量是比较难的，因此是通过构建正对和负对以及判别器的判别来进行最大化互信息的。网络损失函数和具体模型图如下：
   
   
4. InfoGraph*：半监督图分类模型。设计了两个分支网络，一个分支是监督学习，另一个分支是无监督学习，因此就有监督学习损失和无监督学习损失，监督学习损失是直接用的普通交叉熵损失函数等，而无监督学习损失函数用的是上述提到的损失函数。而两个分支网络学习得到的特征空间是不一样的，因此论文还设计了一个一致性互信息最大化损失函数，使得两个分支网络可以互相学习得到最终的有用信息。网络的整体损失函数和模型图如下：
   
   

Evaluation

5. 无监督表征学习：将学习好的图级别表征用于图的分类任务；
6. 半监督学习：借助有标签图和无标签图，来预测无标签图的标签。

Conclusion

7. 本文介绍了两种模型，而且是在解决一种比较新颖的图表征学习和分类问题。
8. There are many research works on semi-supervised learning on image data, but few of them focus on semi-supervised learning for graph structured data. In the future, we aim to explore semi-supervised frameworks designed specifically for graphs.

Notes

9. 问题引导部分写的简洁明了：
   
10. 使用图卷积编码器的多尺度信息。
11. 对于对比学习和半监督学习的描述写的比较详细：
    
    

References

1. Libsvm: A library for support vector machines.
2. Fast graph representation learning with pytorch geometric.
3. Learning deep representations by mutual information estimation and maximization.
4. Deep graph infomax.
5. An end-to-end deep learning architecture for graph classification.
6. Deepwalk: Online learning of social representations.