OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

总结：使用独立性去除虚假相关性，使用全局和局部权值自适应的更新图表示，实现优化效率和权值的一致性的平衡。

挑战：

• gnn融合了节点特征和图结构的异构信息，与非图数据去相关的线性情况相比，表示之间的复杂和未观察到的非线性依赖关系更难以测量和消除。

• 样本重加权方法在小规模图上是可行的，但对于大规模的图数据，由于较高的计算复杂度和过度的存储消耗，一致地学习数据集中每个图的全局权重是有效率低的，甚至是不可行的

动机：.
1、现有的工作在很大程度上忽略了gnn的分布外泛化能力，这对在野外部署的现实应用程序至关重要
2、然而，大多数现有的方法只对不同大小的图进行测试，而忽略了更现实和更具有挑战性的设置，即分布变化出现在图的拓扑和节点特征中。
3、然而，在实践中，当训练图和测试图之间存在分布转移时，如何提高gnn的泛化能力在很大程度上是未知的。
4、然而，这些方法大多是在线性设置下提出的。线性样本重加权方法不能用于消除图数据去相关的非线性依赖关系。如果只消除表示之间的线性依赖关系，实验中就会有显著的性能下降。
5、解纠缠表示这些方法迫使表示被分解为向量，并可以改变图表示的语义含义。此外，由于解纠缠和性能之间的权衡困境[62]，他们在下游任务上的结果可能会降低。

Step1：表示独立性，去相关
由于在没有额外监督的情况下很难区分相关和不相关部分，收集代价非常昂贵，因此鼓励图编码器消除图表示中所有维数的统计依赖性。令：

除非d足够小，否则不适用于使用基于直方图的度量值。因此引入希尔伯特-施密特独立准则（HSIC）https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/101400126

交叉协方差计算：

f,g是指两个傅里叶变换函数

使用重加权鼓励样本的独立性

通过最小化HSIC，消除表示之间的依赖性。迭代更新各组件参数

Step2：
但是直接计算Cz,z计算成本高，在大规模数据集上是不可行的。一种直接的方法是按批处理，但是，批次之间不共享参数，故使用可扩展的全局-局部权值估计其来实现优化效率和权值的一致性的平衡。使用全局权重保持整个数据集上可学习权值的一致性，而局部权值鼓励了在一个小批量上的图表示的不同维数的独立性。

全局权重
定义k组全局表示和相应的全局权重。

通过在训练过程中保存和共享全局表示和权重，提供了对整个训练数据集的全局汇总信息
局部权重
计算表示和初始化局部权重。

全局和局部进行组合

使用得到的Z和W计算交叉协方差Cz,z

对全局表示和权重进行动态更新：