GTN-Graph Transformer Network 图变换网络 NeurIPS2019

来源：NeurIPS 2019
论文链接
代码链接

摘要

图神经网络（GNNs）在图表示学习中得到了广泛的应用，实现了节点分类和连接预测等任务的最佳性能。然而，大多数现有的GNNs都被设计为在固定（fix）和同质（homogeneous）的图上学习节点表示。当在不确定的图或由各种类型的节点和边组成的异构（heterogeneous）图上学习表示时，这些限制尤其成问题。本文提出了能够生成新的图结构的图变换网络(Graph Transformer Networks, GTNs)，它涉及在原始图上识别未连接节点之间的有用连接，同时以端到端方式学习新图上的有效节点表示。图变换层是GTNs的核心层，学习边类型和复合关系的软选择，以产生有用的多跳连接，即所谓的元路径。我们的实验表明，GTNs基于数据和任务，在没有领域知识（domain knowledge）的情况下学习新的图结构，并通过在新图上的卷积产生强大的节点表示。在没有域特定的图预处理的情况下，GTNs在所有三个benchmark节点分类任务中实现了对比需要领域知识的预定义的元路径的现有技术方法的最佳性能。

背景

近年来，图神经网络被广泛应用于图的分类，连接预测和节点分类中。GNNs学到的表示法已被证明在各种图数据集中取得了最先进的表现，例如社交网络，引文网络，大脑的功能结构，推荐系统。GNNs利用底层图结构直接对图进行卷积，将节点特征传递给邻域，或使用给定图的傅里叶基（即Laplacian算子的特征函数）在谱域中进行卷积。

然而，大多数GNN的一个限制是它们假设在固定和同质图的情况下进行GNNs操作。由于上面讨论的图卷积是由固定的图结构来确定的，所以存在丢失/谬误连接的噪声图导致与图上的错误邻居的无效卷积。此外，在一些应用中，构造用于操作GNN的图不是微不足道的。例如，引用网络具有多种类型的节点(例作者、论文、会议)和由它们之间的关系(如作者-论文、论文-会议)定义的边，它被称为异构图。普通的方法是忽略节点/边类型，并将其视为同质图（具有一种类型的节点和边的标准图）。显然，这不是最佳的方案，因为模型不能利用类型信息。最近的方法采用的补救措施是手动设计与异质边缘连接的路径，并将异构图转化为由meta-path定义的同构图。然后，传统的GNN可以对变换的同构图进行运算。这是一种两阶段的方法，每个问题都需要手工构建元路径。这些元路径的选择对下游分析的准确性有很大的影响。

在此，我们开发了图变换网络（GTN），该网络学习将异构输入图转换为每个任务有用的元路径图，并以端到端方式学习图上的节点表示。GTNs可以被看作是空间变换网络的图模拟，它明确地学习输入图像或特征的空间变换。将异构图转换为元路径定义的新图结构的主要挑战是元路径可能具有任意长度和边类型。例如，引用网络中的作者分类可能受益于元路径，即作者-论文-作者(APA)或作者-论文-会议-作者(APCPA)。此外，引用网络是有向图，相对来说只有较少的图神经网络可以操作。为了应对这些挑战，我们需要一个模型，该模型基于与异构图中软选择的边类型相连接的复合关系生成新的图结构，并通过关于给定问题的学习图形结构上的卷积来学习节点表示。

我们的贡献如下：(1)提出了一种新的图变换网络，以学习一种新的图结构，该结构包括识别有用的元路径和多跳连接来学习图上的有效节点表示。(2)图的生成是可解释的，模型能够为预测提供有效元路径的洞察力。(3)我们证明了图变换网络学习的节点表示的有效性，从而获得了最佳的性能，而现有的方法在异构图的所有三种基准节点分类中都使用了领域知识。

模型

我们的图变换网络的目标是生成新的图结构，同时在学习到的图上学习节点表示。与大多数假设图是给定的CNNs不同的是，GTNS使用多个候选邻接矩阵寻找新的图结构，以执行更有效的图卷积，并学习更强大的节点表示。学习新的图结构涉及识别有用的元路径，它们是与异质边和多跳连接的路径。

• 图表示为$G=(V,E)$，$V$是节点的集合，$E$是边的集合。
• ${\mathcal{T}}^v$和${\mathcal{T}}^e$分别表示节点的种类集合和边的种类集合。
• 异质图表示为邻接矩阵的集合$(A_k{)}_{k=1}^K$，其中$K=|{\mathcal{T}}^e|$，它也可以写成张量$\mathbb{A}\in R^{N\times N\times K}$。

元路径的生成

以前的工作需要手动定义元路径，并在元路径图上执行图神经网络。相反，我们的图转换网络(GTNs)学习给定数据和任务的元路径，并在所学习的元路径图上操作图卷积。这使我们有机会找到更有用的元路径，并使用多个元路径图生成几乎不同的图卷积。图1中图转换(GT)层中的新的元路径图生成有两个部分。首先，GT层从候选邻接矩阵A中柔和地选择两个图结构Q1和Q2。第二，它通过两个关系的组成来学习新的图结构(即两个邻接矩阵的矩阵乘法，Q1Q2)。
具体来说，

• 图1即表示GT(Graph Transformer) Layer，它先从tensor $\mathbb{A}$(每一片就是一种edge type)中用权重选择adjacency matrices(即edge type)。权重选择的方式也可以理解成卷积，卷积后的两个matrices分别是两个图结构，表示为$Q_1$和$Q_2$。
• 选择matrices的两个卷积核是用softmax计算得出的(比如图中例子，一个卷积核说取最前面的matrices，一个卷积核说取最后面那个matrices)，但实际上是带有权重分配的。
• 然后再将两个matrices组成新的图结构(即两个邻接矩阵的矩阵乘法，$Q_1{Q}_2$)。

用数学形式可以表示为：

• 选择的$Q$可以表示为：