在图表示学习中打破同构图和异构图之间的壁垒（下）

在图表示学习中打破同构图和异构图之间的壁垒（下）

1. 文章信息

作者

Xiao Liu, Lijun Zhang, & Hui Guan (2022).

单位

期刊或会议

题目

Break the Wall Between Homophily and Heterophily for Graph Representation Learning

2. BGC

背景

在2016年就有研究人员证明了图神经网络(GNNs)是一种强大的方法来学习节点分类任务的图表示方法。基于图同质性或异质性的基本假设，研究者提出了不同的GNN模型设计。但是这些GNN模型的泛化能力亟待提高，因为实验表明这些模型在其他的图特征上准确率还不如mlp。例如GCN在异构图上的准确率比mlp要低。

目的

基于同质性的GNN和基于异质性的GNN都不是理想的，因为它们在同质性和异质性之间无形地建立了一道墙。一个GNN可以在异质性图或同质性图上很好地工作，但不能同时在两者上工作。然而，现实世界的图数据可能具有不同级别的同质性。在确定合适的GNN模型之前，首先将图划分为同质性或者异质性是一个麻烦的问题。更糟糕的是，有些图不能简单地划分为同质性或者异质性。所以一个亟待解决的问题就是要开发出一种GNN模型可以在多种性质的图上进行学习。

结论

在本文中，我们提出了一种图神经网络OGNN，它集成了三类图特征，包括自我节点特征、聚合邻域特征和图结构特征。 OGNN 通过自适应特征融合和双层优化自动处理具有不同同质性的图。大量实验表明，与合成数据集和覆盖全图同质谱的真实数据集的强基线相比，OGNN 实现了最先进的准确度性能。额外的消融研究进一步说明了图特征的三个方面和提出的自适应特征融合机制的必要性。

3. 创新点

方法

利用特征提取器、自适应特征融合、双层优化。这三个步骤来使得模型能够自动识别出图特征从而对自我节点特征、聚合邻域特征和图结构特征，这三个权重进行相应的调整。

理论

具体理论可以看在图表示学习中打破同构图和异构图之间的壁垒（上）中的第四章。

应用

利用本文提出的OGNN模型可以在一个未知的图特征数据集上进行训练，并且能得到一个不错的准确率

4. 文章好在哪里

创新点

作者这边的创新点还是很新颖的，毕竟将两个具有不同性质的领域融合在一起了。当然这也很符合现在深度学习的一种趋势，那就是大模型的概念。同时也给我们以后写文章一种启示，未来的研究方向基本上都是越来越多的让机器去自动识别，让人工干预的尽量减少。（也许这就是规律特殊到一般吧）

图片

这篇文章感觉没有给啥好看的连接图，甚至来说，定义的三个层的流程图也没有给出。但是还是有亮点的，首先表格中用红蓝双色来标注出重要的数据，这点是我在原来的论文中没有见过的。

其次，他的三个指标随着图特征的动态图的配色真的很漂亮，我很喜欢，未来我们也可以在论文中借鉴这样的配色。

逻辑

文章的逻辑还是不错的，整体来说还是一环套一环，而且基本上都能有理论对其论点进行支撑。文章结构也是不错的，这点值得我学习。

5. 核心步骤

思路

1. 我们确定了对图表示学习至关重要的图特征的三个方面:自我节点特征、聚合节点特征和图结构特征。我们分析了这些图形特征的重要性，并提出了提取这些特征的一般形式。我们详细的消融研究表明，这些特征对于具有不同同质性的图具有不同的重要性。
2. 我们提出OGNN模型，它可以推广到同质谱上的图。在双层优化框架下，OGNN将三种图特征与自适应特征融合在一起，可以有效地学习图表示。
3. 我们进行了大量的实验，使用覆盖全同质性谱的合成和真实图基准，将OGNN与最先进的GNNs进行比较。OGNN优于8个基线模型，在9个真实数据集上的平均排名为1.56。具体而言，在真实数据集上，OGNN实现了更高的节点分类精度，平均比GCN高4.55%。

图表

说起来这篇文章算的上是一篇工程味很浓的文章，文章通过syn-cora 这样一个数据集贯穿始终并伴有9个其他的真实数据集，然后运通大量的模型在这个上面进行训练。所以整体的表格数据方面还是做的不错的，这点也是值得学习的。

句式

最近不是准备要考六级了，这里就不在过多的说句式了，毕竟我自己也是很菜，我想着这个板块在后期要不要放弃。但是随后想想有总比没有的好故而就用我浅薄的英语给各位看官打打眼

1. Homophily and heterophily are intrinsic properties of graphs that describe whether two linked nodes share similar properties.（简单句中套从句既好看又好用。。。）
2. OGNN outperforms 8 baseline models and achieves an average rank of 1.56 on 9 real datasets. Specifically, OGNN achieves higher node classification accuracy, 4.55% higher than GCN（图表中的对比语句，这是未来一定要用到的）
3. Although many different GNNs have been proposed, most of them are designed under the assumption of either strong homophily or heterophily, making them incapable of generalizing well to a whole spectrum of homophily.（发现本文中Although用的很多啊）
4. Recent works start to pay attention to heterophilic graphs.（省略主语，感觉好高级）
5. Although many of these methods achieve better performance on heterophilic graphs, they achieve comparable, if not worse, accuracy on homophilic graphs than traditional message passing-based GNNs. In this paper, our goal is to design a GNN that can generalize well to the whole spectrum of homophily.（Although 加 in this paper 完美来一个转折）

neralize well to the whole spectrum of homophily.（Although 加 in this paper 完美来一个转折）