图神经网络的局部增强

ICML 2022

摘要

图神经网络(gnn)在基于图的任务上取得了显著的性能。gnn的关键思想是通过聚合来自局部邻域的信息来获得信息表示。然而，邻域信息是否被充分地聚合以用于学习具有很少邻居的节点的表示仍然是一个悬而未决的问题。为了解决这个问题，我们提出了一种简单有效的数据增强策略——局部增强，以中心节点的特征为条件来学习相邻节点特征的分布，并用生成的特征增强GNN的表达能力。局部增强是一个通用框架，可以以即插即用的方式应用于任何GNN模型。在每次训练迭代中，它从学习到的条件分布中抽取与每个节点相关的特征向量作为主干模型的附加输入。大量的实验和分析表明，当应用于不同基准集的各种GNN架构时，局部增强一致地产生性能改进。例如，实验表明，在Cora、Citeseer和Pubmed上，对GCN和GA T插入局部增强，在测试精度方面平均提高3.4%和1.6%。此外，我们在大图(OGB)上的实验结果表明，我们的模型在主干上持续提高了性能。

1介绍

图神经网络(gnn)及其变体(Kipf & Welling, 2017;Hamilton等人，2017;V eli + ckovi等人，2018)在各种基于图形的任务上取得了最先进的性能，包括推荐系统(Ying等人，2018)、药物发现(Dai等人，2019)和流量预测(Guo等人，2019)。gnn的核心是采用一种消息传递机制，通过传递和聚合来自本地邻域的信息来生成信息表示。

深度gnn的最新发展，如JKnet (Xu et al .， 2018)、GCNII (Chen et al .， 2020b)和RevGNNDeep (Li et al .， 2021)通过残余风格设计将浅层的输出添加到深层，以保留节点表示的局域信息(Chen et al .， 2020b)。此外，近期研究(Zeng et al .， 2021;张黎，2021;Wijesinghe & Wang, 2022)利用局部邻域的结构信息来设计高效的消息传递聚合方案，以增强gnn的表达能力。这些工作表明，局部信息在训练GNN模型和设计强大的GNN中起着重要的作用。

尽管gnn在从局部邻域学习节点表示方面取得了进步，但局部邻域信息是否足以获得有效的节点表示仍然是一个悬而未决的问题，特别是对于邻居数量有限的节点。我们认为局部邻域中有限的邻居数量限制了gnn的表达能力并阻碍了它们的性能，特别是在一些节点邻居很少的样本饥饿情况下。叠加图层以扩大接受场可以包含多跳相邻信息，但会导致过度平滑(Li et al .， 2018)，没有与输入的剩余连接，并且不是解决此问题的直接解决方案。现有的GNN模型体系结构不能解决非常有限的邻居不利于学习节点表示的问题。

因此，这里我们着重于丰富低度节点的局部信息，以获得有效的表示。

一个有希望的解决方案是通过数据增强为局部邻域生成更多特征。数据增强在计算机视觉领域已经得到了很好的研究(Shorten & .Khoshgoftaar, 2019;Cubuk等人，2019;Zhao et al .， 2019;Dong et al, 2022)和自然语言处理(Fadaee et al, 2017;约翰&斯蒂德曼，2019;Xia等人，2019)，但在图结构数据方面仍未得到充分探索。现有的图数据增强方法从全局角度来看，只在拓扑级和特征级进行扰动，可分为两类:拓扑级增强(Rong et al .， 2020;Zhao等人，2021)和特征级增强(Deng等人，2019;Feng et al .， 2019;Kong et al .， 2020;Fang et al .， 2021)。拓扑级增广扰动邻接矩阵，产生不同的图结构。另一方面，现有的特征级增强(Deng et al .， 2019;Feng et al .， 2019;Kong等人，2020)通过对抗性训练对节点属性产生扰动，以促进泛化。这些增强技术有一个突出的缺点:它们关注的是图的整个分布而不是单个节点的属性的全局增强，而忽略了邻域的局部信息。

在这项工作中，为了促进在局部邻域内生成更多特征的聚合方案，我们提出了一种新颖高效的数据增强框架:图神经网络的局部增强(LA-GNNs)。术语“局部增强”是指通过以局部结构和节点特征为条件的生成模型生成邻域特征。具体来说，我们提出的框架包括一个预训练步骤，该步骤通过生成模型学习给定一个中心节点特征的连接邻居节点特征的条件分布。如图1所示，我们利用这个分布来生成与这个中心节点相关的特征向量，作为每次训练迭代的额外输入。

 

图1所示。局部增强的示意图。图上的黄色圆圈对应于相邻节点。假设我们已经知道了局部邻域的分布。我们从局部邻域分布中生成特征。然后我们把原始特征和生成的特征作为下游gnn的输入。

此外，我们解耦了生成模型的预训练和下游GNN训练，允许我们的数据增强模型以即插即用的方式应用于任何GNN模型。

我们在三个标准引文网络(Cora、Citeseer、Pubmed)和Open Graph Benchmark (OGB)上验证了lagnn的有效性(Hu et al .， 2020)。在半监督节点分类上的大量实验结果表明，我们的局部增强实现了新的最先进的性能:LAGCN和LAGA T在Cora、Citeseer和Pubmed上的测试准确率分别比GCN和GA T平均高出3.4%和1.6%。LAGNN在大规模OGB数据集上也获得了优异的性能。

我们表明，对于度为[2,5]和[6,20]的节点，我们的模型在Pubmed上的测试准确率分别提高了1.7%和0.2%。此外，我们的局部增强模型在半监督节点分类任务上优于其他特征/拓扑级增强模型，如G-GNN (Zhu et al .， 2020)、DropEdge (Rong et al .， 2020)、GRAND (Feng et al .， 2020)和GAUG (Zhao et al .， 2021)，这表明了我们模型的优越性。

贡献

•我们提出了一种通用的增强策略，在局部邻域中生成更多的特征，以增强现有gnn的表达能力;

•我们探索了图的预训练生成模型的新方向，以提高下游任务性能;

•我们提出的框架是灵活的，可以应用于各种流行的主干。大量的实验结果表明，我们提出的框架可以提高GNN变体在不同基准数据集上的性能。

2准备工作

记法

设G = (V, E)表示图，其中V为顶点的集合，且|V| = N,为边的集合。邻接矩阵定义为，且当且仅当时，。

设表示节点vi的邻域，D表示对角度矩阵，其中。特征矩阵记为，其中每个节点v与一个F维特征向量相关联。表示one-hot标签矩阵，其中是one-hot向量，对于任意,

图神经网络

图神经网络(gnn)直接作用于图结构，通过消息传递机制聚合信息(Zhou et al .， 2018)。它们反复聚合节点v的近邻的表示，并将聚合信息与其表示向量结合，得到表示向量。GNN消息传递方案的第k层为

其中COM(·)和AGG(·)分别为COMBINE和AGGREGATE函数，为节点v在第k层的表示向量，为节点u和节点v之间的边向量，即

3. 图神经网络(LAGNN)的局部增强

在本节中，我们首先介绍如何通过生成模型在局部邻域中生成更多特征。然后我们展示了如何从概率的角度解耦生成模型的预训练和下游GNN训练，使我们的局部增强模型可以以即插即用的方式应用于任何GNN模型。然后，我们介绍了LA-GNNs的架构和训练细节。总体框架如图1所示。
 

3.1局部增强

动机

现有gnn的重点是设计一种消息传递方案，利用局部信息获取节点表示。我们探索了一个新的方向，我们可以在局部邻域中生成更多的特征，特别是对于邻居较少的节点，以增强各种gnn的表达能力。为了在节点v的邻域中生成更多的特征，我们需要知道其邻域的节点特征的分布。由于该分布与中心节点v相关，我们可以通过生成模型以中心节点的特征为条件来学习它。

好处

与为每个节点训练生成模型相比，为所有节点训练单个生成模型有三个好处:

1)通过生成模型学习图上所有节点的条件分布，减少了计算成本

2)在生成阶段，我们可以将特定节点的特征向量作为输入(条件)，生成与该节点相关联的特征向量。

3)具有更好的可扩展性和泛化性。对于添加到动态图中的新节点，我们可以直接生成特征向量，而无需重新训练新的生成模型，因为生成模型包含了这些广义信息。因此，我们的局部增强模型可以应用于归纳学习任务，如图分类。

方法

我们利用条件变分自编码器(CV AE) (Kingma & Welling, 2013;Sohn et al .， 2015)来学习给定中心节点v的连通邻居的节点特征的条件分布。在我们的CV AE设置中，我们使用作为条件，因为的分布与相关。根据Sohn等人(2015)的研究，潜在变量z是由先验分布生成的，数据是由生成分布生成的，条件是z和。设为变分参数，θ为生成参数，则有

证据下界(ELBO)可以写成:

其中， L是节点v的邻居数。注意，正如我们之前讨论的，我们只是为所有节点训练一个CV AE。在训练阶段，目标是使用相邻对作为输入来最大化ELBO，即Eq.(2)。在生成阶段，我们使用节点特征作为条件，并采样一个潜在变量作为解码器的输入。然后我们可以得到与节点v相关联的生成的特征向量。

讨论

在学习以中心节点为条件的邻居特征分布时，我们没有考虑连接到每个邻居的其他节点对邻居特征的影响。如果我们考虑中心节点作为父节点，其邻居作为中心节点的子节点，那么我们的假设类似于贝叶斯网络中的因果马尔可夫条件(Hausman & Woodward, 1999):给定其父节点，邻居的特征分布独立于其非后代。这个假设在概率图模型的文献中很重要，也很常见。优点是这种假设避免了多跳邻居条件反射的指数复杂度，显著提高了可伸缩性。我们的实验结果表明，由于深度生成模型的表达能力(类似于变分推理的假设不会限制深度V ae在真实数据集中的性能)，我们的方法在所有基准测试中仍然取得了显着的性能。

3.2. 生成模型训练与下游图学习解耦

大多数现有的GNN模型都遵循消息传递机制(Gilmer et al .， 2017)，可以视为一种学习的分类或回归函数。为了进行预测，GNN模型需要估计关于图结构A和特征矩阵X的后验分布。例如，·可以是节点分类任务上的类标签Y。我们可以使用最大似然估计(MLE)通过优化以下似然函数来估计参数Θ:

其中i表示训练数据集中的第i个数据点。在我们的局部增强模型中，为了进一步提高gnn的表达能力，我们将作为输入条件，从生成模型中采样，为中心节点v引入一个生成的特征向量。

设表示生成的特征矩阵，其中第j行对应生成的特征向量。我们将合并到Eq.(3)中，重写为:

贝叶斯训练,我们分解Eq。(4)作为一个产品的两个后验概率:

和表示的概率分布近似GNN分别模型和生成模型,参数化Θ和Φ。通过这样做，我们可以将我们提出的局部增强和特定的图学习解耦，允许我们的增强模型只需要对生成模型进行一次预训练就可以应用于各种GNN模型。

因此，局部增强可以看作是GNN训练之前的无监督预训练模型。Eq.(5)的表示能力优于单个预测器，因为我们在局部邻域提供了具有更多生成特征的GNN模型。

3.3. 体系结构

在本节中，我们将详细介绍如何使用本地增强模型生成的特征作为附加输入来训练gnn。为了说明我们的局部增强模型的有效性，我们提供了两种不同的方法来利用我们生成的特征，从而导致架构的平均和串联设计。

LAGCN

对于GCN，我们只对第一个图卷积层做了很小的改变

。

其中，符号||表示矩阵在第二次元上的连接。权重矩阵W中的子上标表示层数和参数的序数。为了不改变GCN模型的参数大小，和的第二次维之和等于GCN的第二次维。对于我们将在后面讨论的其他架构(LAGA T, LASAGE, LAGCNII)，我们在第一层中保持与LAGCN相同的参数大小设置。对于GraphSAGE和GCNII，它们具有与GCN相似的架构，我们对LASAGE和LAGCNII采用与LAGCN相同的修改策略。

除了串联风格的设计，我们还可以平均作为gnn的输入，而不改变架构。

LAGAT.

同样，LAGAT的第一层定义为:

其中在或上计算。注意，的第二维与GA T相同，我们只是将一半注意力头的输入替换为，并且我们还提供了GA T的平均风格设计。

3.4. 损失函数

在本节中，我们将解释训练LAGNNs的两个损失函数及其潜在动机:监督损失和一致性损失。

监督的损失。

我们使用原始特征矩阵和生成的特征矩阵作为训练LAGNNs的输入。给定训练标签和K个增广特征矩阵，我们可以将节点分类任务的监督损失函数写成:

其中注意，我们只是提供了一种有监督损失函数。对于其他图学习任务，如链接预测和图分类，可以相应地调整监督损失函数。

一致性正则化损失。

受到一致性训练巨大成功的启发(Wang et al, 2020c;Feng et al .， 2020;Sajjadi等，2016;Samuli & Timo, 2017;Berthelot et al, 2019;V erma等人，2019)在半监督学习任务上，我们为特定的gnn和图学习任务提供了可选的损失函数。直观地说，一致性正则化鼓励在每次训练迭代中对不同输入进行不变预测(V erma et al, 2019)。具体来说，我们使用Feng等人(2020)提出的一致性正则化损失函数，其形式如下:

其中是锐化技巧(Berthelot等人，2019)，T是调整该分类分布“温度”的超参数。锐化技巧可以减少预测的熵。

训练与推理

我们的训练和推理过程的细节在算法1中概述。首先，我们训练CV AE，即我们的局部增强模型。然后，我们在每次训练迭代中抽取由CV AE生成的不同特征矩阵作为附加输入来训练GNN模型。但是对于GRAND (Feng et al, 2020)，我们在训练阶段只对一个特征矩阵进行采样，因为我们发现使用这样的采样策略可以获得更好的性能。在初始特征矩阵和生成的特征矩阵上计算有监督损失函数。此外，针对特定任务，我们可选择计算基于的一致性正则化损失函数。此外，我们重新采样另一个不同的特征矩阵来计算训练损失函数，从而计算每次训练迭代的验证损失函数和验证精度。在推理阶段，我们不需要再次生成，因为我们选择的在引文数据集(Cora, Citeseer, Pubmed)上具有最小的验证损失函数，或者在OGB数据集上具有最高的验证精度。预训练和GNN训练的计算复杂度分别为和，其中D为隐藏通道数，L为层数。预训练的epoch数通常小于10，这表明预训练引入的计算开销很小。

4 实验

在本节中，我们将评估我们的局部增强模型在各种任务上的性能，包括节点分类、链接预测和图分类。所有的实验都是在开放图数据集上进行的

4.1半监督学习

数据集

我们使用了三个公共引文网络数据集Cora, Citeseer和Pubmed (Sen et al .， 2008)用于监督节点分类。所有数据集的统计数据都可以在附录D中找到

基线

我们考虑了三种流行的图神经网络:GCN (Kipf & Welling, 2017)， GA T (V eli - ckovi ' c等人，2018)和GCNII (Chen等人，2020b)作为我们实现的主干。GCN和GA T是最先进的GNN架构的代表，而GCNII是一个具有跳过连接设计的深度GNN模型。对于这些主干，我们采用3.3节中讨论的串联风格设计作为我们的LAGNN架构。但我们保持LAGNN的可学习权矩阵的大小与相应的GNN模型相同，详见附录d。我们还将我们的方法与其他数据增强模型- GRAND (Feng et al, 2020)相结合。为了评估我们提出的框架，我们将我们的模型与四种最先进的模型进行比较

骨架模型：Chebyshev;GVN;GAT;APPNP;Graph U-net;MixHop;GCNII;GSNN-M;

• Feature-level augmentation models: G-GNNs (Zhu et al, 2020), and GRAND (Feng et al, 2020).

• Topology-level augmentation modes: DropEdge (Rong et al, 2020) and GAUG-O (Zhao et al, 2021).

• Subgraph GNN: GraphSNN (Wijesinghe & Wang, 2022).

基线的选择旨在表明现有gnn从我们提出的局部数据增强中受益，并且我们的模型优于其他数据增强模型和子图gnn。

实验设置。

我们在Cora、Citeseer和Pubmed上应用了标准的固定分割(Yang等人，2016)，每个类有20个节点用于训练，500个节点用于验证，1000个节点用于测试。参见附录D中有关实验设置和超参数的更多详细信息。

与SOTA的比较。

我们在表1中报告了运行100次后的平均节点分类准确率。我们重用了相应论文中已经报告的基线的度量。结果表明，采用该方法的主干模型在所有三个数据集上都取得了更好的性能。具体来说，局部增强在Cora、Citeseer和Pubmed上的GCN分别提高了3.1%、4.4%和2.7%，而LAGA T比GA T的GCN提高了1.7%、1.2%和2.0%。此外，当与其他数据增强方法(GRAND)结合使用时，我们仍然可以分别提高0.3%、0.4%和0.7%。此外，基于GRAND和我们的LA-GRAND实验结果的std信息，我们通过t检验计算p值来验证改进的有效性。除Cora上的LA-GCN vs . GRAND-GCN (p值为0.046)外，所有 (GRAND也采用相同的检验)，表明LAover GRAND-的改进具有统计学意义。与其他数据增强模型相比(Zhu et al .， 2020;Rong等，2020;Zhao et al .， 2021)， LA-GNN在两种流行的主干GCN和GA T上实现了最佳性能，表明从全局角度来看，局部信息确实优于增强方法，如DropEdge (Rong et al .， 2020)和GAUG (Zhao et al .， 2021)。

我们的模型和GraphSNN都是从子图的角度出发的。结果表明，局部增强比GraphSNN更有效地捕获局部邻域的特征信息，这说明了考虑特征和str的方法更好

4.2全监督学习

数据集

为了证明我们的模型在大图上对全监督节点和链接分类任务的有效性，我们利用开放图基准(OGB) (Hu et al .， 2020)中的ogbn-products、ogbn-proteins、ogbn- narxiv和ogbl-collab数据集进行评估。所有数据集的统计数据都可以在附录D中找到。

基线

我们考虑了四种流行的消息传递gnn: GCN (Kipf & Welling, 2017)， GA T (V eli - ckovi ' c等人，2018)和GraphSAGE (Hamilton等人，2017)作为主干。对于这些主干，我们将第3.3节中讨论的串联风格或平均风格设计应用于我们的LAGNN架构，详见附录d。对于arxiv，蛋白质和产品的节点分类，我们将其与MLP, Node2vec (Grover & Leskovec, 2016)， GCN, GA T, GraphSAGE, FLAG (Kong等人，2020)，GraphSNN (Wijesinghe & Wang, 2022)， GraphZoom (Deng等人，2020)和CoLinkDistMLP (Luo等人，2021)进行比较。此外，我们使用oggl -collab来评估我们的模型在链路预测任务上的性能，并将其与MLP、Node2vec、GCN、GraphSAGE进行比较

实验设置和结果。

我们遵循OGB中的实验设置(Hu et al, 2020)。对于详细的设置，例如分割比率和评估度量，我们只需遵循OGB实现中的相同设置。请注意，基线的测试结果来自OGB官方排行榜(https://ogb.stanford.edu/)或相应的论文。为了公平比较，我们在开放资源代码的OGB任务上实现模型，只触及第一层。从OGB排行榜中，我们可以知道测试结果对模型大小和各种技巧都很敏感。所以我们不改变模型的大小

根据3.3节的建议，不要添加其他技巧。结果总结于表2和表3。

按照惯例，我们报告与最佳验证精度相关的测试精度。节点和链路预测的结果表明，我们的增强模型在骨干网上持续提高性能。

4.3. 归纳学习

为了评估我们的模型在归纳学习任务上的有效性，我们从OGB中获取oggg -molhiv和oggg -molpcba数据集进行评估。对于实验设置，我们只遵循官方OGB实现。我们将GCN和GIN (Xu et al .， 2019b)作为主干。结果总结在表4中。实验结果表明，我们的模型仍然适用于GCN的归纳学习任务。我们的生成模型只在训练数据集上进行训练。只要测试数据集和训练数据集上的图具有相似的分布，即相似的子图结构和特征向量，我们的生成模型就可以进行合理的推断，生成有效的增强特征向量。

4.4. 消融实验。

为了证明我们提出的局部增强模型的有效性，我们在Pubmed上对LAGCN进行了实验，并将其与几个已切除的变体进行了比较。

结果如表5所示。“+ concatenation”意味着我们只应用我们的连接风格的设计架构

将原始特征矩阵作为附加的连接输入，在第3.3节中对LAGCN的构造。改进了0.3%，说明我们对架构的修改对结果没有太大的影响。“+局部增强”意味着我们使用生成的特征矩阵作为附加的连接输入，而不需要一致性训练。虽然我们不使用一致性训练，但生成的特征矩阵作为附加输入将GCN的测试精度提高了1.8%。通过一致性训练和锐化技巧，可以进一步提高成绩。

从消融研究中可以明显看出，性能的提高主要是由于我们的局部增强。

4.5. 对缺失信息的鲁棒性

在本节中，我们进行实验来验证我们提出的框架对于特征属性中的缺失信息是鲁棒的。具体来说，我们对每个特征向量的一定比例的属性进行遮罩，并使用相同的管道对遮罩后的特征矩阵进行增强。如表6所示，我们可以看到，在Citeseer中，随着掩码比的增加，GCN和LA-GCN之间的性能差距在大多数情况下会扩大，这证实了我们的局部增强可以补充局部邻域的上下文信息。

4.6. 案例研究

在本节中，我们将探讨应用我们的局部增强方法后不同节点的测试精度的变化。

注意，我们只应用局部增强而没有一致性训练，并且我们将K设置为1。从表7中，我们

可以得出以下结论:1)Pubmed测试集上大多数节点的度都比较小，小于6度的节点约占76.1%。2)节点度越小，测试精度越低。

然而，我们的局部增强可以丰富这些节点的局部信息，从而提高它们的性能。

4.7过渡平滑分析

众所周知，叠加GNN层会导致过平滑(Li et al .， 2018)。在本节中，我们讨论了与现有方法相比，我们提出的方法如何防止gnn中的过度平滑问题。我们利用MADgap (Chen et al .， 2020a)度量将我们的方法与现有的gnn进行比较。表8报告了LAGCN和GCN在Cora上的MADgap度量(在不同的层上)。我们可以观察到LAGCN的MADgap度量在不同的层上大于或等于GCN。虽然我们的方法不是为了解决过度平滑问题，但我们的方法可以丰富局部邻域信息，从而提高节点表示的局部性。因此，我们可以减轻过度平滑。

5相关工作

图上的无监督表示学习。

一般来说，图上的无监督表示学习方法包括基于对比的自我监督方法(V elickovic等人，2019;Sun等，2020;Hassani & Khasahmadi, 2020;you等人，2020)，图嵌入方法(Garc´ıa-Dur’an & Niepert, 2017;Hamilton等人;

和随机漫步方法(Perozzi et al .， 2014;Tang等，2015;Grover & Leskovec, 2016)。对比学习作品(Hassani & Khasahmadi, 2020;Y(等人，2020)使用对比损失函数来最小化正对的表示距离，最大化负对的表示距离。随机行走方法通过在节点间随机行走来获取句子，并使用NLP词嵌入模型来学习节点表示。

我们的局部增强也是一种学习局部邻域信息的无监督方法

图生成模型

生成模型(Goodfellow et al, 2014;Kingma & Welling, 2013)是学习数据分发的强大工具。最近，研究人员提出了几个有趣的图形数据生成模型。变量图自编码器(VGAE) (Kipf & Welling, 2016)利用潜在变量来学习无向图的可解释表示。Salha等(2019)利用一种简单的线性模型取代了VGAE中的GCN编码器，降低了编码方案的复杂性。Xu等人(2019a)提出了一种生成式GCN模型来学习生长图的节点表示。ConDgen (Yang et al .， 2019)利用GCN编码器处理条件结构生成的不变排列。此外，还提出了一些方法将图生成模型应用于各种应用，如图匹配(Simonovsky & Komodakis, 2018)、分子设计(Liu et al .， 2018)、反合成预测(Shi et al .， 2020)和化学设计(Samanta et al .， 2018)。与这些主要关注结构生成的方法相比，我们的模型充分利用了生成模型在特征表示生成方面的能力，可以作为下游骨干模型的增强技术。

Concatenation-style Design.

在这项工作中，我们使用串联方法将原始特征和每次训练迭代时生成的不同特征连接起来，通过局部增强来丰富邻域信息。

串联式设计是许多作品采用的通用技术，如GA T (V eli - ckovi ' c等人，2018)和SIGN (Rossi等人，2020)。SIGN侧重于在大图上对GNN模型进行可扩展训练，并通过邻接能力通过多跳信息增强特征。

6结论

我们提出了一种新的局部增强技术，该技术利用生成模型来学习给定中心节点特征的中心节点邻居特征的条件分布。我们将训练良好的生成模型生成的特征矩阵输入到一些改进的骨干GNN模型中，以提高它们的性能。实验表明，我们的模型可以提高各种GNN架构和基准数据集的性能。

此外，我们的模型在各种半监督节点分类任务上取得了最新的结果。我们提出的框架的一个限制是，我们没有利用2跳邻居或使用随机行走来为中心节点找到更多相关的邻居。未来的工作是在中心节点度较小时提取更多的2/3跳邻居，在图较大时学习随机采样节点的条件分布。