【论文翻译】WWW2020 - HGT: Heterogeneous Graph Transformer

论文链接： Heterogeneous Graph Transformer
代码链接： https://github.com/acbull/pyHGT.
论文作者：来自加州大学洛杉矶分校
参考阅读： https://blog.csdn.net/byn12345/article/details/105081338

摘要

近年来，图神经网络(gnn)在结构化数据建模方面取得了巨大的成功。但是，大多数gnn都是针对同构图设计的，在同构图中，所有的节点和边都属于同一类型，这使得它们无法表示异构结构。在本文中，我们提出了异构图转换架构(HGT)体系结构来建模web规模的异构图。为了对异质性进行建模，我们设计了节点和边类型相关的参数来表征每个边上的异质性注意力，使HGT可以为不同类型的节点和边生成专用的表示。为了处理动态异构图，我们在HGT中引入了相对时序编码技术，该技术能够捕获任意持续时间的动态结构依赖关系。为了处理Web-scale的图数据，我们设计了异构的mini-batch图抽样算法HGSampling，以实现高效和可扩展的训练。在拥有1.79亿个节点和20亿个边的开放学术图上进行的大量实验表明，所提出的HGT模型在各种下游任务上的性能始终优于所有最先进的GNN基线9%-21%。HGT的数据集和源代码可在https://github.com/acbull/pyHGT上公开获取。

1 引言

异构图通常用于复杂系统的抽象和建模，在复杂系统中，不同类型的对象以不同的方式相互作用。这类系统的一些常见实例包括学术图、Facebook实体图、LinkedIn经济图，以及广泛的物联网网络[13]。例如，Open Academic Graph (OAG)[23]包含五种类型的节点:论文、作者、机构、地点(期刊、会议或预印本)和领域，以及它们之间的不同类型的关系。
在过去的十年中，对挖掘异构图进行了一系列重要的研究。一个经典的范例是定义和使用元路径来建模异构结构，例如PathSim[14]和metapath2vec[2]。最近，鉴于图神经网络(gnn)的成功[4,6,17]，有几次尝试采用gnn在异构网络中学习[11,18,21,22]。然而，这些工作面临着几个问题:首先，它们大多涉及到为每种类型的异构图设计元路径或变体，需要特定的领域知识;其次，它们要么简单地假设不同类型的节点/边共享相同的特征和表示空间，要么单独对节点类型或边类型保持不同的非共享权值，从而不足以捕获异构图的属性;最后，它们内在的设计和实现使得它们无法对web规模的异构图进行建模
鉴于这些限制和挑战，我们提出研究异构神经网络的目标是维护节点和边缘类型相关的表示，避免定制的元路径，并可扩展到web规模的异构图。在这项工作中，我们提出了异构图转换器(HGT)架构来处理所有这些挑战。

为了处理图的异构性，我们引入了依赖节点和边缘类型的注意机制。图1说明了异构学术图的元关系。具体来说，我们使用这些元关系来参数化权重矩阵，以计算每条边上的注意力。因此，允许不同类型的节点和边保持其特定的表示空间。同时，不同类型的连接节点仍然可以交互、传递和聚合消息，而不受其分布间隔的限制。由于其体系结构的性质，HGT可以通过消息跨层传递来合并来自不同类型的高阶邻居的信息，这可以被视为“软”元路径。也就是说，即使HGT只以其单跳边作为输入，而没有人工设计元路径，所提出的注意机制也可以自动、隐式地学习和提取对不同下游任务重要的“元路径”。

为了建模web规模的异构图，我们首先设计了异构子图采样算法——hgsampling，用于小批量GNN训练。其主要思想是对不同类型节点比例相似的异构子图进行采样，因为直接使用现有的(同质的)GNN采样方法，如GraphSage[4]、FastGCN[1]和LADIES[24]，会导致节点类型和边类型高度不平衡。此外，还设计了保持采样子图密集的方法，以最大限度地减少信息的丢失。使用HGSampling，所有的GNN模型，包括我们提出的HGT，都可以在任意大小的异构图上进行训练和推断。
我们在网络规模的开放学术图(Open Academic Graph)上证明了提出的异构图转换器(Heterogeneous Graph Transformer)的有效性和效率，该图由1.79亿个节点和20亿个边组成，使之成为迄今在异构图上执行的最大规模的表示学习。实验结果表明，HGT可以显著改善各种下游任务，比目前最先进的GNN基线提高9%-21%。进一步的案例研究表明，该方法确实能够自动捕获隐式元路径在不同任务中的重要性。

现有的GNN方法的不足：
以HAN, GTNs, HetGNN等方法为例。

• 大多数方法需要为异质图设计元路径（GTNs除外）；
• 要不就是假定不同类别的节点/边共享相同的特征和表示空间，要不就是单独为某一类型的节点和边设计不同的不可共享的参数。这样的话不能充分捕获异质图的属性信息；
• 大多数方法都没有考虑异质图的动态特征；
• 不能建模Web-scale的异质图。

鉴于以上挑战，作者进行了异质图神经网络的研究，目的是：（1）保留节点和边类型的有依赖关系的特征；（2）捕获网络的动态信息；（3）避免自定义元路径；（4）并且可扩展到大规模（Web-scale）的图上。

作者提出：

提出HGT架构解决上述所有问题，具体解决方法如下：

（1）为了解决图的异质性问题，引入节点类型和边类型有依赖的注意力机制。
HGT中的异质相互注意力不是参数化每种类别的边，而是根据元关系三元组将每个边e = ( s , t ) e=(s, t)e=(s,t)分解来定义。（例如 <s的节点类别, s和t之间的边e的类型, t的节点类型>）。图1就展示了异质学术图的元关系。

使用元关系参数化权重矩阵，用于计算每条边的注意力系数。

因此，不同类型的节点和边就可以维护其特定的表示空间。同时，通过不同的边相连的节点仍然可以交互、传递、聚合信息，并且不受它们之间分布差异的限制。

HGT的天然结构，让其可以通过跨层的信息传递来合并不同类型的高阶邻居的信息，这可以看作是**“软”元路径**（“soft” meta paths）。

也就是说，尽管HGT只将一跳的边作为输入并且不人为设计元路径，本文提出的注意力机制可以针对具体的下游任务自动地、隐式地学习并抽取出更重要的“元路径”。
（2）为了处理动态图，在HGT中引入相对时间编码（RTE）技术。
并不是将输入图按不同的时间戳分片处理，而是将在不同时间出现的所有的边看成一个整体。设计RTE策略，建模任意时间长度的结构性的时间依赖关系，甚至包含不可见的和未来的时间戳。
通过端到端的训练，RTE使得HGT自动学习到异质图的时序依赖关系以及异质图随时间的演化。
（3）为了处理Web-scale的图数据，作者设计了第一个异质的子图采样算法——HGSampling，用于mini-batch的GNN训练。

以往的在同质图上的GNN采样方法（例如 GraphSage, FastGCN, LADIES）会导致节点和边类型的高度不平衡，HGSampling可以使得采样的不同类型的节点有着相似的分布。

同时，该方法还可以保持采样子图的密度，以最小化信息损失。

使用HGSampling的采样方法，所有的GNN模型，包括本文的HGT模型，都可以在任意大小的异质图上进行训练和推断。

2 定义

3 相关工作

在本节中，我们介绍异构图形转换器(HGT)。它的思想是使用异构图的元关系来为异构相互关注、消息传递和传播步骤参数化权重矩阵。

6 结论

在本文中，我们提出了异构图转换器(HGT)体系结构来建模web规模的异构和动态图。为了建模异质性，我们使用元关系⟨τ(s)，ϕ(e)，τ(t)⟩分解相互作用和变换矩阵，使模型以更少的资源具有相似的建模能力。为了捕获图形动态，我们提出了相对时间编码(RTE)技术，以在有限的计算资源下整合时间信息。为了对web规模的数据进行高效、可扩展的HGT训练，我们设计了异构的小批图抽样算法- hgsampling。我们在开放学术图上进行了综合实验，结果表明，提出的HGT模型可以捕获异质性，并在各种下游任务上优于所有最先进的GNN基线。
在未来，我们将探索HGT是否能够生成异构图，例如预测新论文及其标题，以及我们是否可以预先训练HGT，使其受益于具有稀缺标签的任务。