AAAI 2022 Simple Unsupervised Graph Representation Learning 成电

本文将 MLP 引入到对比学习， 由于2021年mlp能用到scalable graph learning，因此 MLP学到X的embedding能够更好的解决 可扩展性问题， DGI GMI GCA MVGRL GRACE GIC等方法都是扩展性较差，且latent dim 一般都取512， 这篇文章算是 novel的一篇对比学习，1：不是通过各种顶会上的negative sampling方法来获得负样本 ； 2：不是通过鉴别器来打分，而是通过一个triplet loss 辅助 upper bond来控制正负样本距离

本文框架：

对于基于MI的无监督表征学习方法较全

方法：

1：通过MLP抽取不含有结构信息的 属性特征， shuffle后获得负样本，这个过程和DGI一样，简单高效的。simple yet effective。 由于MLP不能抽取图拓扑，故要考虑结构信息 在后续的过程中

2：

2.1采用GCN encoder 来抽取结构化信息，和 MLP共享参数W，作者说 to reduce time cost

 

 2.2  sample 节点的邻居信息，这步很implicit， 因为gcn已经抽取了neigbor，作者说 gcn关注的是全部邻居，而这里sample是关注部分邻居。 全局邻居更加general ，局部邻居specific

到目前为止：获得了MLP的特征及其负采样后的特征，两个带有拓扑信息的特征（全局+局部）

接下来就是 正负样本对 之间的push pull， 之前很多方法都是 基于DGI 训练判别器打分， 这个扩展性很差，因为一般都是一个bilinear，来进行打分，节点多，维度大，参数会很大，本文是通过计算distance，push pull。来减小类内方差，增大类间方差。

上面的triplet loss 在两个正样本的 specification。拉近gcn和mlp正，拉近neighbor 和mlp正，反之。

 这两个损失是互补的，由于gcn和neighbor不同，会出现两种情况，h和h+大于h h+hat，反之，作者claim，出现一种情况，8式子无用，9式子起作用， 若9式无用，8式起作用，都会增大类间。

 triplet loss（7式）衡量正样本对距离- 负样本对距离，尽可能让他们差值大，可以看式6，正样本和h之间的距离 应该小于 负样本和h之间的距离，alpha是一个margin，让正样本加了这个margin还是小于负的距离，i.e.本文作者说的 safe distance，至少两者都该这么远，不让出现 正负样本距离差 过于小。这个margin距离在传统机器学习或者image中较多，对比损失 panshirui Phi. S. Y组21年也有类似的做法； 式子7整体就是让整体差值+alpha 小于0，越小越好，通过max{，0}，使得若是负数=0，若是正数，则表明整体差值+alpha大于0了，损失就出现了，------ 就是让两种样本对之间的差值至少是alpha。但是7式子也存在问题，如果负样本对之间的距离没有被约束，很大，那么会出现正样本对和h（anchor）之间本来距离很大，减去一个也很大的 负样本对距离， 也会使得损失大于0 出现。 现在重新看 式7 ，这个是保证 类间方差大， 但由于上述情况出现，类内方差也会出现很大的情况（正样本对本身距离就很大），因此需要增加约束。

        

从式6出发，式6式让两者保持alpha的安全距离，来保证类间方差大，为了不让类内方差大，提出了alpha+belta这个上界，上界保证了负样本对距离不会过于大，那么 负样本和h的距离是有限的 既要大于正样本对+alpha，又要小于正样本对+alpha+belta，因此使得正样本和h的距离也是有限的，不至于特征大，使得类内方差很大，式11 目的是 减小类内方差，即10式的 第二个term和第三term 推出的。

按照6式角度，这个11式会使得 正负样本对之间的距离至少保持alpha+belta（是吗。。。）。 10式子直观的感受就是 负样本对距离大于 正样本对，但不会 过于大。

作者说 只是对gcn得到的正表征进行了 上界约束，保证了类内方差小，而不是像89都去保证类间方差，作者claim：因为邻居信息表征每个都很相似，采用他们不会提升效果， 感觉是经验上的结论。

损失函数，Ls：gcn的类间方差 Ln：neighbor的采样类间方差 ；Lu：是gcn的类内方差

除了这两个超参数，还有alpha+belta。但是本文没有说 最好的时候 超参数是多少，，，，可能是每个数据集都不一样吧。 

 实验：

对于大数据集，对比的MI方法采用了minibacth 这里是graphsaint采样

实验效果很棒，精度时间等都很强 且做了三个ogb

 消融分析，表中看，上界损失帮助很大

参数敏感性，时间分析