【论文翻译】图形转换器网络

通过跨异构网络学习挖掘竞争关系

摘要

图神经网络已广泛应用于图的表示学习，并在节点分类和链接预测等任务中取得了最先进的性能。然而，大多数现有的神经网络被设计来学习固定和同构图上的节点表示。当学习由各种类型的节点和边组成的拼错图或异构图的表示时，这些限制尤其成问题。在本文中，我们提出了能够生成新的图结构的图转换网络(GTNs)，包括识别原始图中未连接节点之间的有用连接，同时以端到端的方式学习新图上的有效节点表示。图形转换器层是几何网络的核心层，它学习边缘类型和复合关系的软选择，以生成有用的多跳连接，即所谓的元路径。我们的实验表明，几何网络学习新的图形结构，基于数据和任务，没有领域知识，并产生强大的节点表示通过卷积对新的图形。在没有特定领域的图预处理的情况下，相对于需要来自领域知识的预定义元路径的最先进的方法，几何网络在所有三个基准节点分类任务中实现了最佳性能。

1.引言

近年来，图形神经网络(GNNs)已被广泛应用于各种图形上的任务，如图形分类[11，21，40]，链接预测[18，30，42]和节点分类[3，14，33]。GNNs学习的表征已经被证明在各种图形数据集上实现最先进的性能是有效的，例如社交网络[7，14，35]，引用网络[19，33]，大脑的功能结构[20]，推荐系统[1，27，39]。底层图结构被神经网络利用，通过将节点特征[12，14]传递给邻居，直接在图上进行卷积，或者使用给定图的傅立叶基，即拉普拉斯算子[9，15，19]的特征函数，在谱域中进行卷积。

然而，大多数神经网络的一个限制是，它们假设操作神经网络的图形结构是固定的和同构的。由于上面讨论的图卷积是由固定的图结构决定的，具有缺失/虚假连接的噪声图导致与图上错误邻居的无效卷积。此外，在一些应用中，构建一个图形来操作GNNs并不容易。例如，引用网络具有多种类型的节点(例如，作者、论文、会议)和由它们的关系(例如，作者-论文、论文-会议)定义的边，并且它被称为异构图。一种天真的方法是忽略节点/边类型，并将其视为同构图(一种具有一种类型的节点和边的标准图)。这显然是次优的，因为模型不能利用类型信息。最近的一种补救方法是手动设计元路径，即与异构边连接的路径，并将异构图转换为由元路径定义的同构图。然后传统的神经网络可以在变换的齐次图上运行[37，43]。这是一个两阶段的方法，需要为每个问题手工创建元路径。下游分析的准确性会受到这些元路径选择的显著影响。

在这里，我们开发了图形转换器网络(GTN)，它学习将异构输入图形转换为每个任务的有用元路径图形，并以端到端的方式学习图形上的节点表示。几何变换网络可视为空间变换网络的图形模拟[16]，它明确学习输入图像或特征的空间变换。将异构图转换为由元路径定义的新图结构的主要挑战是元路径可以具有任意长度和边类型。例如，引文网络中的作者分类可能受益于元路径，即作者-论文-作者(APA)或作者-论文-会议论文-作者(APCPA)。此外，引用网络是有向图，其中相对较少的图形神经网络可以操作。为了应对这些挑战，我们需要一种模型，该模型基于与异构图中的软选择边缘类型相关联的复合关系生成新的图结构，并通过对给定问题的已学习图结构的卷积来学习节点表示。

我们的贡献如下:(1)我们提出了一个新的框架图转换器网络，学习一个新的图结构，包括识别有用的元路径和多跳连接，以学习有效的节点表示图。(二)图形生成是可解释的，模型能够提供关于预测的有效元路径的见解。(三)我们证明了由图转换器网络学习的节点表示的有效性，相对于在异构图上的所有三个基准节点分类中额外使用领域知识的最先进的方法，产生了最佳的性能。

2相关著作

图神经网络。近年来，已经为广泛的任务开发了许多类GNNs。它们分为两种方法:光谱方法[5，9，15，19，22，38]和非光谱方法[7，12，14，26，29，33]。基于谱图理论，布鲁纳等人[5]提出了一种利用给定图的傅里叶基在谱域执行卷积的方法。Kipf等人[19]利用谱图卷积的一阶近似简化了GNNs。另一方面，非谱方法利用空间上的近邻直接在图上定义卷积运算。例如，维克维等人[33]对不同程度的节点应用不同的权重矩阵，汉密尔顿等人[14]提出了可学习的聚集器函数，该函数为图形表示学习总结邻居的信息。

用GNNs进行节点分类。节点分类研究了几十年。传统上，手工制作的特征已经被使用，例如简单的图形统计[2]，图形内核[34]，以及来自本地邻居结构的工程特征[23]。这些功能不灵活，性能差。为了克服这个缺点，最近在DeepWatch[28]、LINE [32]和node2vec [13]中提出了通过图的随机漫步的节点表示学习方法，这些方法采用了来自深度学习模型的技巧(例如，skip-gram)，并且在性能上获得了一些改进。然而，所有这些方法仅仅基于图结构来学习节点表示。这些表示没有针对特定任务进行优化。由于中枢神经系统在表征学习方面取得了显著的成功，中枢神经系统为给定的任务和数据学习了强大的表征。为了提高性能或可扩展性，已经研究了基于谱卷积的广义卷积[4，26]，对邻居的注意机制[25，33]，二次采样[6，7]和大图的归纳表示[14]。虽然这些方法显示出突出的结果，但所有这些方法都有一个共同的局限性，即只处理齐次图。

然而，许多现实世界的问题往往不能用一个单一的齐次图来表示。这些图是一个异构的图，有各种类型的节点和边。由于大多数神经网络是为单个均匀图设计的，一个简单的解决方案是两阶段方法。它使用元路径作为预处理，将异构图转换为同构图，然后学习表示。metapath2vec [10]通过使用基于元路径的随机行走来学习图形表示，HAN [37]通过将异构图形转换为由元路径构建的同构图形来学习图形表示学习。然而，这些方法由领域专家手动选择元路径，因此可能无法捕获每个问题的所有有意义的关系。此外，元路径的选择也会显著影响性能。与这些方法不同，我们的图形转换器网络可以在异构图形上运行，并为任务转换图形，同时以端到端的方式学习转换图形上的节点表示。

3方法

我们的框架“图转换器网络”的目标是生成新的图结构，并同时学习所学图上的节点表示。与大多数假设图是给定的图上的神经网络不同，神经网络使用多个候选邻接矩阵来寻找新的图结构，以执行更有效的图卷积并学习更强大的节点表示。学习新的图结构包括识别有用的元路径，即与异构边连接的路径和多跳连接。在介绍我们的框架之前，我们简要总结了GCNs中元路径和图卷积的基本概念。

3.1准备工作

我们的框架的一个输入是具有不同类型的节点和边的多个图结构。设和分别为节点类型和边类型的集合。输入图可以被视为异构图[31] G = (V，E)，其中V是一组节点，E是一组具有节点类型映射函数和边类型映射函数的观察边。每个节点有一个节点类型，即。同样，对于，。当且时，它成为标准图形。本文考虑的情形。设N表示节点数，即|V |。异构图可以用一组邻接矩阵来表示，其中，是一个邻接矩阵，其中在j到i之间存在第k型边时为非零。更简洁地说，它可以写成张量。我们还有一个特征矩阵，它表示每个节点的D维输入特征。

由p表示的元路径[37]是异构图G上与异构边连接的路径，即，其中表示元路径的第l个边类型。它定义了一个节点和之间的复合关系，其中表示关系和的组成。给定复合关系R或边类型序列。元路径P的邻接矩阵APof通过邻接矩阵的乘法获得，如下

元路径的概念包含了多跳连接，我们框架中的新图结构由邻接矩阵表示。例如，元路径作者论文会议(AP C)，可以表示为，通过和的多重选择生成邻接矩阵。

图形卷积网络(GCN)。在这项工作中，图形卷积网络(GCN) [19]被用来学习端到端方式的节点分类的有用表示。设为格网第1层的特征表示，则前向传播变为

其中是自连接增加的图G的邻接矩阵A，是的度矩阵，即，是可训练的权矩阵。人们可以很容易地观察到，图中的卷积运算是由给定的图结构决定的，除了节点线性变换之外，它是不可学习的。因此，卷积层可以解释为一个固定卷积的组合，然后是图中的激活函数σ，经过节点线性变换。因为我们学习图结构，所以我们的框架受益于不同的卷积，即从学习的多个邻接矩阵获得的。该架构将在本节稍后介绍。对于一个有向图(即非对称邻接矩阵)，式(2)中的可以用度内对角矩阵的逆矩阵归一化为。

3.2元路径生成

以前的工作[37，43]需要手动定义元路径，并在元路径图上执行图形神经网络。相反，我们的图形转换器网络(GTNs)为给定的数据和任务学习元路径，并在学习的元路径图上操作图形卷积。这提供了找到更有用的元路径的机会，并使用多个元路径图来产生各种各样的图卷积。

图1:图转换器层从异构图G的邻接矩阵集合A中轻轻地选择邻接矩阵(边类型)，并通过两个选择的邻接矩阵和的矩阵乘法学习由表示的新的元路径图。软邻接矩阵选择是通过与来自softmax()的非负权重进行1 × 1卷积获得的候选邻接矩阵的加权和。

图1中图形转换器(GT)层中新的元路径图生成有两个组件。首先，GT层从候选邻接矩阵A中轻轻地选择两个图结构和。其次，它通过两个关系的组合(即两个邻接矩阵的矩阵乘法)学习一个新的图结构。

它通过1×1卷积计算邻接矩阵的凸组合为，如图1所示，来自softmax函数的权重为

其中是卷积层，是的参数。这个技巧类似于[8]中低成本图像/动作识别的通道注意力集中。给定两个软选择邻接矩阵和，元路径邻接矩阵通过矩阵乘法计算。为了数值稳定性，矩阵通过其度矩阵归一化为。

现在，我们需要检查GTN是否能够学习关于边类型和路径长度的任意元路径。任意长度l元路径的邻接矩阵可以通过下式计算

其中表示元路径的邻接矩阵，表示一组边类型，是第1层GT层边类型的权重。当α不是单热向量时，可以看作所有长度为l的元路径邻接矩阵的加权和。因此，l个GT层的堆叠允许学习任意长度的l元路径图结构，如图2所示的GTN体系结构。这种构造的一个问题是，添加GT层总是增加元路径的长度，这不允许原始边。在某些应用中，长元路径和短元路径都很重要。为了学习包含原始边的短元路径和长元路径，我们在中包含单位矩阵I，即。当堆叠l个GT层时，这种技巧允许GTN学习高达l + 1的任意长度的元路径。

图2:图形转换器网络(GTNs)学习使用GT层生成一组新的元路径邻接矩阵，并在新的图形结构上执行图形卷积，如在GCNs中一样。多元路径图上来自同一全局控制网络的多个节点表示通过拼接集成在一起，提高了节点分类的性能。和是中间邻接张量计算第1层元路径。

3.3图形转换器网络

我们在这里介绍图形转换器网络的体系结构。为了同时考虑多种类型的元路径，图1中1×1卷积的输出通道被设置为C。然后，GT层产生一组元路径，并且中间邻接矩阵和成为邻接张量和，如图2所示。通过多个不同的图结构学习不同的节点表示是有益的。在堆叠l个层之后，将GCN应用于元路径张量的每个通道，并且将多个节点表示连接为

其中，||是连接运算符，C表示通道数，是来自第I个通道的邻接矩阵，是的度矩阵，是跨通道共享的可训练权重矩阵，是特征矩阵。Z包含来自C不同元路径图的节点表示，长度可变，最多l + 1。它用于顶部的节点分类，并使用两个密集层和一个softmax层。我们的损失函数是一个标准的交叉熵，在节点上有基本真理标签。这种体系结构可以被看作是由成组层学习的多个元路径图上的一个集合。

4实验

在这一节中，我们针对节点分类的各种最新模型来评估我们的方法的优势。我们通过实验和分析来回答以下研究问题:Q1.GTN生成的新图结构对学习节点表示有效吗？Q2.GTN能否根据数据集自适应地产生可变长度的元路径？Q3.如何从GTNs生成的邻接矩阵中解读每个元路径的重要性？

数据集。为了评估由图形转换器网络生成的元路径的有效性，我们使用了具有多种类型的节点和边的异构图形数据集。主要任务是节点分类。我们使用两个引用网络数据集DBLP和ACM，以及一个电影数据集IMDB。我们实验中使用的异构图的统计数据如表1所示。DBLP包含三种类型的节点(论文(P)、作者(A)、会议(C))、四种类型的边(PA、AP、PC、CP)和作为标签的作者研究领域。ACM包含三种类型的节点(论文(P)、作者(A)、主题(S))、四种类型的边(PA、AP、PS、SP)、作为标签的论文类别。两个数据集中的每个节点都被表示为关键字的词包。另一方面，IMDB包含三种类型的节点(电影(M)，演员(A)，导演(D))，标签是电影的流派。节点特征作为情节的词袋表示给出。

实施细节。为了公平比较，我们将上述所有方法的嵌入维数设置为64。使用了亚当优化器和超参数(如学习率、权重衰减等。)被分别选择，使得每个基线产生其最佳性能。对于基于随机游走的模型，对于1000次迭代，每个节点的游走长度设置为100，窗口大小设置为5，有7个负样本。对于GCN、遗传算法和人工神经网络，参数分别使用验证集进行优化。对于我们的GTN模型，我们对DBLP和IMDB数据集使用了三个GT层，对ACM数据集使用了两个GT层。我们用一个常数值初始化了GT层中1 × 1卷积层的参数。我们的代码可以在 https://github.com/seongjunyun/Graph_Transformer_Networks.。

4.1基线

为了评估图形转换器网络在节点分类中学习的表示的有效性，我们将几何网络与传统的基于随机行走的基线以及基于GNN的最先进的方法进行了比较。

已经研究了传统的网络嵌入方法，最近DeepWalk [28]和metapath2vec [10]在基于随机游走的方法中显示出卓越的性能。深度行走是一种基于随机行走的网络嵌入方法，最初是为同构图设计的。这里我们忽略了节点/边的异构性，对整个异构图进行DeepWalk。然而，metapath2vec是一种异构图嵌入方法，它执行基于meta-path的随机行走，并利用负采样的skip-gram来生成嵌入。

基于GNN的方法我们使用了GCN [19]，遗传算法[33]，和汉[37]作为基于GNN的方法。GCN是一个图卷积网络，它利用了为对称图设计的谱图卷积的局部一阶近似。由于我们的数据集是有向图，我们修改了非对称邻接矩阵的度归一化，即而不是。遗传算法是一种在同构图上使用注意机制的图神经网络。我们忽略节点/边的异质性，在整个图上进行GCN和遗传算法测试。人工神经网络是一种利用人工选择的元路径的图形神经网络。这种方法需要通过用预定义的元路径连接顶点，将原始图手动转换为子图。这里，我们在所选的子图上测试HAN，这些子图的节点与元路径链接，如[37]所述。

4.2节点分类结果

从新的图形结构中学到的表示的有效性。表2 .显示了GTN和其他节点分类基准的性能。通过分析我们的实验结果，我们将回答Q1和Q2的研究。我们观察到，与所有网络嵌入方法和图形神经网络方法相比，我们的GTN在所有数据集上都获得了最高的性能。基于GNN的方法，例如，GCN、遗传算法、汉和GTN的性能优于基于随机游走的网络嵌入方法。此外，GA-T通常比GCN表现更好。这是因为遗传算法可以为相邻节点指定不同的权重，而GCN只是对相邻节点进行平均。有趣的是，尽管han是一个用于异构图的改进的GAT，但遗传算法通常比HAN表现更好。该结果表明，使用预定义的元路径作为HAN可能会对性能产生不利影响。相比之下，尽管GTN模型仅使用一个GCN层，而GCN、佐治亚理工学院和汉至少使用两个层，但与所有数据集上的所有其他基线相比，我们的GTN模型实现了最佳性能。它证明了GTN可以学习一种新的图结构，该图结构由用于学习更有效的节点表示的有用元路径组成。此外，与基线中具有常数的简单元路径邻接矩阵(例如HAN)相比，GTN能够为边分配可变权重。

识别矩阵，学习变长元路径。如第3.2节所述，单位矩阵包含在候选邻接矩阵中。为了验证单位矩阵的效果，我们训练并评估了另一个名为的模型——消融研究。的模型结构与GTN完全相同，但它的候选邻接矩阵不包括单位矩阵。总的来说，比GTN表现更差。值得注意的是，IMDB中的差异大于DBLP。一种解释是元路径的长度在IMDB中无效。当我们堆叠3层GTL时，千兆以太网网络会产生4长度的元路径。然而，在IMDB中，较短的元路径(例如MDM)是优选的。

4.3图形变压器网络的解释

我们检查了GTNs学习的转换，以讨论问题可解释性Q3。我们首先描述如何从我们的GT层计算每个元路径的重要性。为简单起见，我们假设输出通道数为1。为了避免符号混乱，我们为输入邻接矩阵的凸组合定义了简写符号。图2中的第l层生成新元路径图的邻接矩阵，使用前一层的输出和输入邻接矩阵，如下:

其中表示的度矩阵，表示边类型i的输入邻接矩阵，表示的权重。因为我们在第一层有两个凸组合，如图1所示，我们表示，。在我们的GTN中，来自先前张量的元路径张量被重新用于，我们只需要每个层的来计算。然后，来自第1层的新邻接矩阵可以写成

其中，表示一组边缘类型，而是第1层GT层的边缘类型的注意力得分。所以，可以看作是所有元路径的加权和，包括1长度(原始边)到l长度的元路径。元路径由获得。

现在我们可以解释GTNs学习到的新图形结构。元路径的权重是一个注意得分，它提供了元路径在预测任务中的重要性。在表3中，我们总结了文献中广泛使用的预定义元路径，以及GTNs学习到的具有高注意分数的元路径。

表3:GTN与预定义元路径和排名靠前的元路径的比较。我们的模型发现重要的元路径与目标节点（一种带有节点分类标签的节点）之间预定义的元路径一致。此外，GTNs还发现了所有类型节点之间新的相关元路径。

如表3所示，在具有要预测的类标签的目标节点之间，根据领域知识预定义的元路径也始终被GTNs排在首位。这表明gtn能够学习元路径对于任务的重要性。更有趣的是，GTN发现了不在预定义元路径集中的重要元路径。例如，在DBLP数据集中，GTN将CPCPA列为最重要的元路径，这不包括在预定义的元路径集中。作者的研究领域（要预测的标签）与作者发表文章的地点有关，这是有道理的。我们相信，GTNs的可解释性通过元路径上的注意分数为节点分类提供了有用的信息。

图3：在图1中的1x1 conv filter（i：层索引）上应用softmax函数后，我们在DBLP（左）和IMDB（右）数据集中可视化了邻接矩阵（边缘类型）的注意分数。（a） 每条边分别表示（论文作者），（作者论文），（论文会议），（会议论文）和身份矩阵。（b） IMDB数据集中的边表示（电影导演），（导演电影），（电影演员），（演员电影）和身份矩阵。

图3显示了每个图转换器层的邻接矩阵（边类型）的注意分数。与DBLP结果相比，同一矩阵在IMDB中的注意得分更高。如第3.3节所讨论的，GTN能够学习比GT层数量更短的元路径，而GT层的数量在IMDB中更有效。通过给同一矩阵分配更高的注意分数，GTN试图坚持更短的元路径，即使在更深层。结果表明，GTN具有根据数据集自适应学习最有效元路径长度的能力。

5结论

提出了一种用于学习异构图上节点表示的图变换网络。我们的方法将一个异构图转换成多个新的图，这些图由元路径定义，具有任意的边类型和任意的长度，其长度小于图变换器层的数量，同时通过卷积学习元路径图上的节点表示。所学习的图结构导致更有效的节点表示，从而在没有任何来自领域知识的预定义元路径的情况下，在异构图的所有三个基准节点分类上实现最先进的性能。由于我们的图形转换器层可以与现有的GNNs相结合，我们相信我们的框架为GNNs自己优化图形结构开辟了新的途径，可以根据数据和任务进行卷积运算，而无需任何人工操作。有趣的未来方向包括研究GT层与不同类别GNN（而非GCN）结合的疗效。此外，由于最近针对其他网络分析任务（如链接预测[36,41]和图分类[17,24]）研究了几种异构图数据集，因此将我们的GTNs应用于其他任务可能是有趣的未来方向。