AAAI 2022 | 同时适用于同质和异质性的图神经网络

最新推荐文章于 2023-08-04 15:49:44 发布

PaperWeekly

最新推荐文章于 2023-08-04 15:49:44 发布

阅读量1.6k

点赞数

文章标签： python 神经网络机器学习人工智能深度学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247595104&idx=3&sn=134f698791b735f8586b0ed54647cb0f&chksm=96ebabe0a19c22f6dd04f9c85882321e4b2a30e7ebd75cdf3442f0047089dd1cfae5d5a619c8&scene=126&&sessionid=0

版权

©作者 | 庄双双

来源 | MIND Laboratory

论文标题：

Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily

收录会议：

AAAI 2022

论文链接：

https://arxiv.org/abs/2112.13562

文章概述

图卷积网络 (GCN) 在处理图结构数据方面具有显著的能力，已经获得了巨大的成功，并已被应用于各种网络分析任务，包括节点分类，社区检测，异常检测和推荐系统。尽管近年来提出了许多基于 GCN 的方法、如 GraphSa、GAT、MixHop 和 HIN，基于 GCN 的方法通过图邻域内的特征传播和聚集来反映同质性假设。

这些方法在许多具有同质性的网络下游任务中表现出令人满意的性能，然而在异质性或低同质性的情况下，这些方法的性能很差，因为作为 GCN 最基本的部分，图邻域内的传播机制是有问题的，会混合来自不同类别的不相关信息。

为了解决该问题，本文设计了一种新的传播机制（同质性指导的图卷积框架 HOG-GCN），可以根据节点对之间的同质性或异质性自适应的改变传播和聚合过程。因此，新的图卷积框架可以通过使用亲和度矩阵对节点对之间的亲和度进行建模，自动改变特征传播过程。最终从从理论上证明了我们的模型可以根据节点之间的同质性来约束节点之间表征的相似性。

论文方法

HOG-GCN 的模型体系结构：

2.1 Homophily Degree Matrix Estimation

由于在半监督任务下只有部分标签信息可用，因此很难直接从节点标签中计算出亲和度。为此，我们考虑分别从属性空间和拓扑空间来估计节点对之间的亲和度，然后将它们与可调整的参数相结合。

属性空间：我们应用图不可知的多层感知器（MLP）从原始节点属性中提取类感知信息：

设 MLP 的所有参数均为，则通过 MLP 最小化随后的预测标签损失，得到最优的：

然后根据矩阵 B，我们可以计算出两个节点属于同一类的程度，称为同质度矩阵，定义为：

拓扑空间：经典的标签传播通常假设两个连接的节点更有可能具有相同的类，从而在邻域之间迭代地传播标签，在迭代 l 中的标签传播定义如下：

由于网络表现出不同的异质性，我们在网络的 K 阶结构上进行标签传播，以捕捉更多的同质性节点（例如 k=2）。K 阶结构定义为：

然后将迭代 l 中的广义标签传播定义为：

然后，我们可以通过广义标签传播来最小化预测标签的损失来学习最优边权值：

最优的使每个节点被广义标签传播正确分类的概率最大化，从而也增加了类内的影响，这反映了两个节点属于同一类的程度。为了形成一个端到端模式，这里我们取权值矩阵T作为从拓扑中估计的同质度矩阵空间。

最后，为了使模型更加有效和鲁棒性，我们将从属性空间和拓扑空间估计的均匀度矩阵与可调参数组合如下：

其中，α 和 β 是超参数，矩阵 S 包含任意节点对之间的同质度，而 T 在 k 阶邻域内学习同质度。

2.2 Homophily-guided Propagation

我们的方法的核心是自适应地学习同质性和异质性的传播过程。因此，我们将可学习的同质性度矩阵纳入图卷积框架中，以自动改变传播权值根据同质性程度。最后给出了 HOG-GCN 方法在迭代 l 中的特征传播过程：

2.3 Optimization Objective

整个框架由同质度矩阵估计和同质度引导传播两部分组成。第一个组件包含 MLP 和广义标签传播。通过给出了 MLP 和广义标签传播的目标函数（前文已给出）。

在第二个分量中，我们将同质度矩阵纳入图卷积框架。表示图卷积运算的所有参数均为，然后根据 HOG-GCN 的最终输出 Z 得到最优的：

在该模型中，在传播过程中从属性和拓扑信息中学习同质度矩阵，并进一步用于进行特征传播。反过来，传播过程可以帮助更好地学习同质性度矩阵。也就是说，这两个组成部分相互增强。因此，我们将这些目标结合起来，以端到端的方式训练整个过程：

其中，λ，γ 为平衡超参数。这样，特征传播过程由当前的同质性度矩阵引导，传播结果可以进行同质性学习通过半监督分类的度矩阵。

2.4 Theoretical Analysis

在本节中，我们证明了我们的新方法可以根据 k 阶邻域内节点之间的同源性来约束节点之间表示的相似性。将 HOG-GCN 的输出表示为 Z，则其传播过程可以视为最小化下面的目标函数。

然后，它可以解释为一个极限分布：

我们使用以下迭代形式来近似与的极限：

当忽略非线性变换并初始化时，我们有：

这对应于 HOGGCN 的传播过程。

实验结果

3.1 Datasets

作者在 7 个真实数据集上评估了所提出的 HOG-GCN 和现有方法的性能。

3.2 Node Classification

3.3 Visualization

总结

在本文中，提出了一种新颖的同质引导图可以普遍适用的卷积网络同性和异性网络。具体来说，我们将可学习的同质度矩阵合并到图中用于建模同质性的卷积框架和网络的异质性和进一步的自适应变化节点对之间根据同质度的传播过程。学习同质度矩阵通过提取类感知信息从属性和拓扑信息中提取可以进行传播过程。作为回报，传播过程的结果可以进步通过下游帮助学习同质度矩阵半监督任务。这两个过程可以增强互相训练，共同训练。对七个真实世界数据集的实验表明，所提出的新方法在异质性下优于现有方法，同时拥有同质性下的竞争表现。

更多阅读