OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

最新推荐文章于 2024-09-14 09:59:20 发布

beuluer

最新推荐文章于 2024-09-14 09:59:20 发布

阅读量821

点赞数 17

文章标签： pytorch 神经网络深度学习人工智能

本文链接：https://blog.csdn.net/qq_54862543/article/details/137649594

版权

OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

总结：使用独立性去除虚假相关性，使用全局和局部权值自适应的更新图表示，实现优化效率和权值的一致性的平衡。

挑战：

gnn融合了节点特征和图结构的异构信息，与非图数据去相关的线性情况相比，表示之间的复杂和未观察到的非线性依赖关系更难以测量和消除。
样本重加权方法在小规模图上是可行的，但对于大规模的图数据，由于较高的计算复杂度和过度的存储消耗，一致地学习数据集中每个图的全局权重是有效率低的，甚至是不可行的

动机：.
1、现有的工作在很大程度上忽略了gnn的分布外泛化能力，这对在野外部署的现实应用程序至关重要
2、然而，大多数现有的方法只对不同大小的图进行测试，而忽略了更现实和更具有挑战性的设置，即分布变化出现在图的拓扑和节点特征中。
3、然而，在实践中，当训练图和测试图之间存在分布转移时，如何提高gnn的泛化能力在很大程度上是未知的。
4、然而，这些方法大多是在线性设置下提出的。线性样本重加权方法不能用于消除图数据去相关的非线性依赖关系。如果只消除表示之间的线性依赖关系，实验中就会有显著的性能下降。
5、解纠缠表示这些方法迫使表示被分解为向量，并可以改变图表示的语义含义。此外，由于解纠缠和性能之间的权衡困境[62]，他们在下游任务上的结果可能会降低。

Step1：表示独立性，去相关
由于在没有额外监督的情况下很难区分相关和不相关部分，收集代价非常昂贵，因此鼓励图编码器消除图表示中所有维数的统计依赖性。令：
在这里插入图片描述
除非d足够小，否则不适用于使用基于直方图的度量值。因此引入希尔伯特-施密特独立准则（HSIC）https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/101400126

交叉协方差计算：

f,g是指两个傅里叶变换函数

使用重加权鼓励样本的独立性
在这里插入图片描述
通过最小化HSIC，消除表示之间的依赖性。迭代更新各组件参数

Step2：
但是直接计算Cz,z计算成本高，在大规模数据集上是不可行的。一种直接的方法是按批处理，但是，批次之间不共享参数，故使用可扩展的全局-局部权值估计其来实现优化效率和权值的一致性的平衡。使用全局权重保持整个数据集上可学习权值的一致性，而局部权值鼓励了在一个小批量上的图表示的不同维数的独立性。

全局权重
定义k组全局表示和相应的全局权重。
在这里插入图片描述