在图表示学习中打破同构图和异构图之间的壁垒（上）

在图表示学习中打破同构图和异构图之间的壁垒

摘要

同构性和异构性是图的固有属性，用来描述两个连接的节点是否具有相似的属性。虽然已经提出了许多图神经网络(GNN)模型，目前尚不清楚如何设计一个模型，让该模型能够适应各种图特征。这项工作通过识别三个图特征来解决这一挑战，包括自我节点特征、聚合节点特征和图结构特征，这三个特征对图表示学习至关重要。我们进一步提出了一种新的GNN模型，称为OGNN(全能图神经网络)，该模型提取所有三种图特征并自适应融合它们，以实现模型能够适应各种图特征。我们通过大量的实验证明了，OGNN的优越性。

1. 引言

早在2016年就有研究人员证明了图神经网络(GNNs)是一种强大的方法来学习节点分类任务的图表示方法。基于图同质性或异质性的基本假设，研究者提出了不同的GNN模型设计。一方面，许多模型的前提是假设图特征为图同质性，这意味着图中的链接节点倾向于共享类似的属性或标签。这些GNN模型采用一种消息传递范式，通过图中的边缘递归地传播和聚合节点特征，以产生平滑的节点表示，我们把这些GNN模型称为同源型GNN模型。

另一方面，最近的一些工作经验地证明了基于同质性的GNN模型在异构图上的性能较差，而异构图具有与同质性相反的性质——异质性。这些图表的例子包括在线交易网络，以及蛋白质网络。为异构图设计的GNN模型采用了针对性的策略在异构图上得到了很好的效果，但将这类方法运用到同构图上其准确率基本和早先的模型类似或者更差。我们把这些GNN模型称为异源型GNN模型。

基于同质性的GNN和基于异质性的GNN都不是理想的，因为它们在同质性和异质性之间无形地建立了一道墙。一个GNN可以在异质性图或同质性图上很好地工作，但不能同时在两者上工作。然而，现实世界的图数据可能具有不同级别的同质性。在确定合适的GNN模型之前，首先将图划分为同质性或者异质性是一个麻烦的问题。更糟糕的是，有些图不能简单地划分为同质性或者异质性。所以一个亟待解决的问题就是要开发出一种GNN模型可以在多种性质的图上进行学习。

针对这一问题，本文提出了一种能很好推广到同质性全谱的全能GNN (OGNN)模型。OGNN的设计动机是观察到图中的每个节点可以由不同类型的特征建模，包括自身的特征、相邻节点的特征以及与其他节点的连接。根据图的同质性，这些特征在确定节点的属性时具有不同的重要性。OGNN的基本思想是对这些特征进行有效的变换和自适应融合，得到图中每个节点的表示。我们的主要贡献总结如下:

1. 我们确定了对图表示学习至关重要的图特征的三个方面:自我节点特征、聚合节点特征和图结构特征。我们分析了这些图形特征的重要性，并提出了提取这些特征的一般形式。我们详细的消融研究表明，这些特征对于具有不同同质性的图具有不同的重要性。
2. 我们提出OGNN模型，它可以推广到同质谱上的图。在双层优化框架下，OGNN将三种图特征与自适应特征融合在一起，可以有效地学习图表示。
3. 我们进行了大量的实验，使用覆盖全同质性谱的合成和真实图基准，将OGNN与最先进的GNNs进行比较。OGNN优于8个基线模型，在9个真实数据集上的平均排名为1.56。具体而言，在真实数据集上，OGNN实现了更高的节点分类精度，平均比GCN高4.55%。

这里点评一下，作者这边的创新点还是很新颖的，毕竟将两个具有不同性质的领域融合在一起了。当然这也很符合现在深度学习的一种趋势，那就是大模型的概念。

2. 符号定义与参数

在本章中，基本上简单介绍了一下基本的图神经相关的知识以及符号的定义问题。这里提两个点：

1. 要打破同构与异构的壁垒，而且还要准确率高。首要要解决的就是模型能不能识别出图特征。在本文中特征的筛选方法具体如下：

   定义一个标签为$\mathbf{Y}$的图$\mathcal{G}=(\mathcal{V},\mathcal{E})$,则边的同构性定义为：
   

​ 它表示连接具有相同类标签的两个节点的边的分数。边同质性的取值范围是 0 到 1。边同质性接近 1 的图称 为同质性图，而边同质性接近于 0 的图称为异质性图。

​ 2.通过公式1我们可以得出这个是用一个空间卷积的思想来处理这些问题的。

很明显的感觉到，这些函数符号和传统的定义的有点出入。这是不是也给我们在写论文的时候一点启示。

3. 差异同质性下的图表示学习

尽管已经提出了许多 GNN模型，但它们中的大多数都是基于图特征是同质性或异质性的假设下设计的，这使得它们无法很好地泛化到其他的图特征的数据集中。总而言之，现有的 GNN 在具有各种同质性设置的图上几乎没有表现出始终如一的良好性能。因此，在本文中，我们旨在设计一种新的 GNN，该 GNN 可以很好地泛化具有不同同质性的图。

在这章中作者基本上把目前几个经典的模型运用到在其不擅长的领域上，例如将GCN用到异构图上进行计算。这样做完得出的实验结果表明：同构图上的模型用到异构图上效果还不如mlp，同理为异构图而设计的模型用到同构图上性能下降的也是十分明显的。

4. OGNN:一个适用于各种情况的GNN模型

在本文中，作者指出对于图特征的学习，其中最重要的有三个特征分别是：自我节点特征、聚合邻域特征和图结构特征。

1. 自我节点特征：在不考虑节点邻域的情况下，对节点的原始特征进行变换而得到的节点嵌入。
2. 聚合邻域特征：通过捕获从邻域到目标节点的信息来补充自我节点特征。
3. 图结构特征：尽管聚合邻域特征涉及目标节点周围的局部连接，但由于置换不变聚合过程，它丢失了相当多的图结构信息。因此，有必要将图结构信息作为图表示学习的独立信息源。

OGNN的设计

1. 特征提取器

其中X就是特征矩阵，通过公式我们不难看出就是特征矩阵进行线性变化，因为线性变换在我们的经验评估中始终达到最佳精度。在聚合邻居节点的时候，为了提高感受野，利用了邻接矩阵。

这样就利用了一些谱分解的工作原理。

2. 自适应特征融合

这三种类型的特征在建模图信息中扮演着不同的角色，因此它们在不同的同质设置中的重要性也不同。自适应加权特征融合模块为每个特征分配一个可训练的标量重要性分数，以便它可以自动从输入图中学习特征的重要性：

公式5中H是融合后的特征，激活函数用的是relu，p是可训练参数$\pi$权重矩阵，最后通过一个softmax层来输出最终的结果。

3. 双层优化

为了联合训练模型参数和特征融合权值，我们借鉴了双层优化的思想

损失函数如式6，其中 G 是图，X 和 Y 分别是原始节点特征和真实标签，并且 ${\hat{y}}_i\in {\mathbf{Y}}_{pred}$ 是我们模型对节点 i 的预测。那么我们的双层优化的目标是：

5. 实验

本文的实验确实做的很多，同时也做的很好，这点是值得我在后面的论文中进行借鉴的。

syn-cora 的节点及其原始特征来自 Cora 数据集，而边缘是根据不同的同质性设置随机生成的。