OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

OOD-GNN: Out-of-Distribution Generalized Graph Neural Network

总结:使用独立性去除虚假相关性,使用全局和局部权值自适应的更新图表示,实现优化效率和权值的一致性的平衡。

挑战:

  • gnn融合了节点特征和图结构的异构信息,与非图数据去相关的线性情况相比,表示之间的复杂和未观察到的非线性依赖关系更难以测量和消除。

  • 样本重加权方法在小规模图上是可行的,但对于大规模的图数据,由于较高的计算复杂度和过度的存储消耗,一致地学习数据集中每个图的全局权重是有效率低的,甚至是不可行的

动机:.
1、现有的工作在很大程度上忽略了gnn的分布外泛化能力,这对在野外部署的现实应用程序至关重要
2、然而,大多数现有的方法只对不同大小的图进行测试,而忽略了更现实和更具有挑战性的设置,即分布变化出现在图的拓扑和节点特征中。
3、然而,在实践中,当训练图和测试图之间存在分布转移时,如何提高gnn的泛化能力在很大程度上是未知的。
4、然而,这些方法大多是在线性设置下提出的。线性样本重加权方法不能用于消除图数据去相关的非线性依赖关系。如果只消除表示之间的线性依赖关系,实验中就会有显著的性能下降。
5、解纠缠表示这些方法迫使表示被分解为向量,并可以改变图表示的语义含义。此外,由于解纠缠和性能之间的权衡困境[62],他们在下游任务上的结果可能会降低。

Step1:表示独立性,去相关
由于在没有额外监督的情况下很难区分相关和不相关部分,收集代价非常昂贵,因此鼓励图编码器消除图表示中所有维数的统计依赖性。令:
在这里插入图片描述
除非d足够小,否则不适用于使用基于直方图的度量值。因此引入希尔伯特-施密特独立准则(HSIC)https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/101400126
在这里插入图片描述
交叉协方差计算:
在这里插入图片描述
f,g是指两个傅里叶变换函数
在这里插入图片描述
使用重加权鼓励样本的独立性
在这里插入图片描述
通过最小化HSIC,消除表示之间的依赖性。迭代更新各组件参数
在这里插入图片描述

Step2:
但是直接计算Cz,z计算成本高,在大规模数据集上是不可行的。一种直接的方法是按批处理,但是,批次之间不共享参数,故使用可扩展的全局-局部权值估计其来实现优化效率和权值的一致性的平衡。使用全局权重保持整个数据集上可学习权值的一致性,而局部权值鼓励了在一个小批量上的图表示的不同维数的独立性。

全局权重
定义k组全局表示和相应的全局权重。
在这里插入图片描述
在这里插入图片描述

通过在训练过程中保存和共享全局表示和权重,提供了对整个训练数据集的全局汇总信息
局部权重
计算表示和初始化局部权重。
在这里插入图片描述
在这里插入图片描述

全局和局部进行组合
在这里插入图片描述
使用得到的Z和W计算交叉协方差Cz,z

对全局表示和权重进行动态更新:
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值