ICLR_2024:GraphACL 邻域信号预测应对异质性

一.摘要翻译：

图对比学习在图结构数据的表征学习上取得了卓越的表现，但多数现有的GCL方法依赖于精心构造的图增广和同质性假设。因此，它们难以在异质图上表现良好。在这篇论文中，我们研究对同质图和异质图进行对比学习。我们发现考虑邻居节点的不对称视图能够取得先进的表现。这种简单的方法能够拓展且不依赖于图增广和同质假设。对于GraphACL可以捕获一跳邻居信息和二跳相似性（都是对于建模异质图极为重要的信息）。

二.尝试解决什么问题

1.传统的GCL方法强制邻居节点相似，这是建立在同质性假设上的，对于异质图效果不佳

2.传统的GCL依赖于数据增广

三.解决问题的关键

1.如果不拉近邻居节点间的距离，要怎么通过CL来学到更多的拓扑结构信息呢？   GraphACL给出一种方法，设计一个predictor，让中心节点去预测邻居节点的信号，这样既可保证encoder学到拓扑结构信息，又不会让两者长得太像。（这个思路应该是借鉴BGRL和BYOL）

2.还是为了防止邻居节点长太像，中心节点通过online encoder生成，要预测的邻域节点用target encoder生成，为了保证训练效率，target encoder的参数使用online encoder的指数平滑

3.为了防止维度坍塌，增加一个全局正则化损失

4.对比损失和正则化损失简单加和效果不好，放缩成交叉熵

四.理论证明

1.放缩过程：先用对数简单放缩，然后用Jensen不等式，把求和符号提取出来

凹函数Jensen不等式：f(∑i=1n​ai​xi​)≥∑i=1n​ai​f(xi​)  

2.借助上述的放缩过程，从信息论角度证明，Loss可以降低给定邻域信息Y条件下，X的条件熵→从而增大一阶邻域间的互信息

3.这里我没推明白，后续补补矩阵论。。。。 

4.这里的细节我也没太弄清楚。 大概就是在说Th3将分类任务的MSE误差拆解成两个部分，这里证明了二跳邻接图的同质性能够提升分类性能。 

线代矩阵学的不够深啊( Ĭ ^ Ĭ )，不够用