【论文翻译 KDD2020】AM-GCN: Adaptive Multi-channel Graph Convolutional Networks 自适应多通道图卷积网络

论文链接： AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
论文代码： https://github.com/zhumeiqiBUPT/AM-GCN
作者：北京邮电大学王啸等人
注： 本文针对当前GCN融合节点特征和拓扑特征能力欠缺的问题，分别从特征图和拓扑图及其组合中提取特定的和公共的嵌入，并利用注意力机制将它们融合。很显然本文是针对 同构图，但为 HGSL中的特征图、拓扑图等思想作了启发。

摘要

图卷积网络(GCNs)在处理各种关于图和网络数据的分析任务中得到了广泛的应用。然而，最近的一些研究提出了关于GCNs能否在具有丰富信息的复杂图中最优地整合节点特征和拓扑结构的担忧。在本文中，我们首先进行了实验研究。令人惊讶的是，我们的实验结果清楚地表明，最先进的GCNs在融合节点特征和拓扑结构方面的能力远未达到最优，甚至令人满意。这一缺陷可能会严重阻碍GCNs在某些分类任务中的能力，因为GCNs可能无法自适应地学习拓扑结构和节点特征之间的一些深度相关信息。我们能否弥补这一缺陷，设计一种新型的GCNs，在保留现有GCNs优势的同时，大幅增强拓扑结构和节点特征的融合能力?我们提出了一种自适应多通道图卷积网络用于半监督分类(AM-GCN)。其核心思想是同时从节点特征、拓扑结构及其组合中提取出特定的和共同的嵌入，并利用注意机制学习自适应的嵌入的重要性权值。我们在基准数据集上的大量实验清楚地表明，AM-GCN从节点特征和拓扑结构中提取了最相关的信息，并显著提高了分类精度。

1 引言

GCN的巨大成功部分归功于GCN提供了一种基于拓扑结构和节点特征的融合策略来学习节点嵌入，融合过程由端到端学习框架监督。
然而，最近的一些研究揭示了最先进的GCNs在融合结点特征和拓扑结构方面的某些缺陷。例如Li等[15]表明，GCNs实际上对节点特征进行了拉普拉斯平滑，使嵌入到整个网络中的节点逐渐收敛。Nt和Maehara[20]和Wu等[30]证明了特征信息在网络拓扑结构上传播时，拓扑结构对节点特征起到低通滤波的作用。Gao等人[8]在GCN中设计了一个条件随机场(CRF)层来显式地保持节点之间的连通性。
GCNs真正从拓扑结构和节点特征中学习和融合哪些信息?这是一个基本问题，因为GCNs经常被用作端到端学习框架。对这个问题的详尽回答可以帮助我们以原则性的方式理解GCNs的能力和局限性。这立即激发了我们学习的动力。
作为本研究的第一个贡献，我们提出了实验评估GCNs融合拓扑结构和节点特征的能力。令人惊讶的是，我们的实验清楚地表明，GCNs对网络拓扑结构和节点特征的融合能力明显离最佳甚至令人满意还差得远。即使在一些简单的情况下,节点之间的关联特性/拓扑节点标签是非常明确的,GCN仍不能充分融合节点特性和拓扑结构提取最相关的信息(见第二节)。疲软可能严重阻碍之下的能力在某些分类任务,因为GCNs可能不能自适应地学习拓扑结构和节点特征之间的一些相关信息。
既然明确了现有最先进GCN的缺陷，一个自然的问题是：我们能否弥补这一缺陷，设计一种新型的GCNs，在保留现有GCNs优势的同时，大幅增强拓扑结构和节点特征的融合能力？
一个良好的融合能力的GCNs基本上需要提取和融合最相关的信息用于分类任务，但现实中最大的障碍是网络数据和分类任务之间的相关性通常是非常复杂和不可知的。分类可以与拓扑、节点特征或它们的组合相关联。本文提出了一种自适应多通道图卷积半监督分类网络(AM-GCN)。其核心思想是我们同时根据节点的特征、拓扑结构和它们的组合来学习节点嵌入。其基本原理是特征之间的相似性与拓扑结构推断的相似性是互补的，可以自适应地融合以获得用于分类任务更深层的相关信息。
在技术上，为了充分利用特征空间中的信息，我们把从节点特征生成的k-最近邻图中作为特征结构图。利用特征图和拓扑图，在拓扑空间和特征空间上传播节点特征，通过两个特定的卷积模块在这两个空间中提取出两个特定的嵌入。考虑到两个空间之间的共同特征，我们设计了一个具有参数共享策略的公共卷积模块来提取它们共享的公共嵌入。我们进一步利用注意机制自动学习不同嵌入的重要权重，从而自适应融合它们。这样，节点标签可以监督学习过程，自适应调整权重，提取相关度最高的信息。此外，我们设计了一致性和视差约束，以确保学习到的嵌入的一致性和视差。
我们的主要贡献总结如下:

• 我们提出实验评估GCN融合拓扑结构和节点特征的能力，并识别GCN的弱点。进一步研究了如何大幅度提高用于分类的GCN的融合能力这一重要问题
• 我们提出了一种新的自适应多通道GCN框架AM-GCN，它在拓扑空间和特征空间上执行图卷积运算。结合注意机制，可以充分融合不同信息。
• 我们在一系列基准数据集上进行的大量实验清楚地表明，AM-GCN优于最先进的GCN，并且能够很好地从节点特征和拓扑结构中提取最相关的信息，以完成具有挑战性的分类任务。

2 GCNs的融合能力：实验研究

这些结果表明，目前GCN[14]的融合机制还远未达到最佳，甚至令人满意。尽管节点标签与网络拓扑或节点特征之间的相关性很高，但目前的GCN不能充分利用节点标签的监督自适应提取相关度最高的信息。然而，现实中的情况更加复杂，因为很难知道拓扑或节点特性与最终任务的相关性更大，这促使我们重新思考GCN当前的机制。

3 AM-GCN

AM-GCN的整体框架如图所示，其关键思想是AM-GCN不仅允许节点特征在拓扑空间中传播，还允许在特征空间中传播，从这两个空间中提取与节点标签最相关的信息。为此，我们基于节点特征X构造了一个特征图，然后通过两个特定的卷积模块，X可以在特征图和拓扑图上同时传播，分别学习两个特定的嵌入$Z_F$和$Z_T$。进一步，考虑到这两个空间中的信息具有共同特征，我们设计了一个具有参数共享策略的公共卷积模块来学习公共嵌入$Z_{CF}$和$Z_{CT}$，并采用一致性约束$L_c$来增强$Z_{CF}$和$Z_{CT}$的“公共”属性。此外，采用视差约束$L_d$来保证$Z_F$和$Z_{CF}$之间以及$Z_T$和$Z_{CT}$之间的独立性。考虑到节点标签可能与拓扑或特征相关，也可能两者都相关，AM-GCN利用注意机制将这些嵌入与学习到的权值自适应融合，从而提取出与最终分类任务相关程度最高的信息$Z$。

3.1 特定卷积模块

3.2 共同卷积模块

实际上，特征空间和拓扑空间并非完全无关。基本上，节点分类任务可能与特征空间或拓扑空间的信息相关，也可能与两者都相关，这是很难事先知道的。因此，我们不仅需要提取这两个空间中特定的节点嵌入，还需要提取这两个空间共享的公共信息。通过这种方式，任务将更灵活地确定信息的哪一部分是最相关的。为了解决这个问题，我们设计了一个具有参数共享策略的Common-GCN，使嵌入在两个空间中共享。
首先，我们利用Common-GCN来提取节点嵌入

4 实验

4.1 实验设置

数据集

比较模型

4.2 节点分类

4.3 变体分析

4.4 可视化

4.5 注意力机制分析

4.6 参数研究

5 相关工作

6 结论

在本文中，我们重新思考了GCN中网络拓扑和节点特征的融合机制，发现它离最优还很远。基于这一基本问题，我们研究了如何从拓扑和节点特征中自适应地学习相关度最高的信息，并充分融合它们进行分类。提出了一种多通道模型AM-GCN，该模型在融合拓扑和节点特征信息时能够学习到适当的重要权重。大量的实验很好地证明了在真实世界的数据集上比最先进的模型优越的性能

---

总结
本文的思想很简单，分别从特征图和拓扑图上用特定的卷积核提取信息，用共同卷积提取特征图和拓扑图的公共信息。最后用注意力机制将这几种信息融合起来，用于下游任务。