【论文翻译 | IEEE TKDE】ie-HGCN - Interpretable and Efficient Heterogeneous Graph Convolutional Network

摘要

图卷积网络(GCN)在学习图形中节点的有效任务特定表示方面取得了非凡的成功。然而，对于异构信息网络(HIN)，现有的面向HIN的GCN方法仍然存在两个不足:

• (1)不能灵活地探索所有可能的元路径，并提取出目标对象中最有用的元路径，从而影响了有效性和可解释性;
• (2)通常需要生成基于中间元路径的稠密图，计算复杂度较高。

为了解决上述问题，我们提出了一种可解释的高效异构图卷积网络(ie-HGCN)来学习HIN中的对象表示。它被设计为分层聚合体系结构，即首先是对象级聚合，然后是类型级聚合。新的体系结构可以自动从所有可能的元路径中(在一定长度范围内)提取出每个对象的有用元路径，从而带来良好的模型可解释性。通过避免中间HIN变换和邻域注意力，还可以降低计算代价。我们从评估所有可能的元路径的有用性、它与HINs上的谱图卷积的联系以及它的准线性时间复杂度等方面对所提出的ie-HGCN进行了理论分析。在三个真实的网络数据集上的大量实验表明，ie-HGCN比目前最先进的方法优越。
关键词： 异构信息网络，图卷积网络，网络表示学习

1 引言

在现实世界中，一个图通常包含多种类型的对象(节点)和链接(边)，称为异构图或异构信息网络(HIN)[1]。正确地学习HIN中的对象表示可以促进各种任务，如对象分类和链接预测[2]。这一问题面临两个主要挑战:(1)有效性。在HIN中，元路径(对象类型和链接类型为节点和边的路径)所捕获的丰富的结构邻近性对许多网络挖掘任务[2]是重要的和有益的。一个理想的HIN表示学习方法应该能够开发尽可能多的元路径。此外，并不是元路径所描述的所有接近性对于特定的任务都是同等重要的。例如，假设我们有一个任务来分类DBLP中的论文的研究领域。论文1发表在像WWW这样的跨学科会议上，与术语“网络搜索”有关。论文p2发表在AAAI上，与术语“图算法”有关。显然，p1的连接词更有助于将p1归类为“信息检索”，而p2发表的会议更有助于将p2归类为“人工智能”。因此，一种有效的表示学习方法应该能够发现和利用对象的“个性化”有用的元路径。(2)效率。真实世界的hin通常包含大量的对象和链接。因此，计算效率也是表示学习方法的一个重要要求，特别是考虑到现代深度学习方法通常都是在内存有限的gpu上进行训练。
现有的HIN表示学习方法主要分为两类:图嵌入方法和基于图卷积网络(GCN)的方法。HIN嵌入方法以非参数的方式学习对象表示，并保留一些特定的结构属性。其中，一些方法[3]，[4]，[5]只保留通过关系传递的一阶接近性。尽管其他方法[6]、[7]、[8]、[9]、[10]、[11]、[12]保留了元路径传递的高阶结构近似性，但它们要么要求用户指定元路径[6]、[7]、[8]、[9]、[10]，要么无法了解元路径对于任务[11]、[12]的重要性。综上所述，(1)在无监督的结构保持训练中，学习到的嵌入可能不会对特定任务产生最佳性能;(2)所有这些方法都不能自动地从所有可能的元路径中探索特定任务的有用元路径。
近年来，GCN已经成功地应用于许多图形分析任务，如节点分类。与图嵌入不同，GCN通过卷积来编码结构属性，并使用特定任务目标进行训练。最近的一些工作试图将GCN扩展到HINs。然而，他们仍然没有充分和有效地利用HIN的结构特性。表1总结了现有HIN GCN方法的主要不足:(1)其中[13]，[14]，[15]，[16]要求用户为特定任务指定几个有用的元路径，这对于没有专业知识的用户来说是很困难的。(2)许多元路径[13]、[14]、[15]、[17]、[18]、[19]不能利用所有可能的元路径，有可能丢失重要的结构信息。

为了充分有效地利用HIN的结构特性，我们提出了一种可解释的高效异构图卷积网络(ie-HGCN)，它直接将HIN作为输入，并在HIN上执行多层异构卷积来学习特定任务对象表示。ie-HGCN每一层都有三个关键步骤来获得更高层次的对象表示:(1)投影。我们定义了特定关系的投影矩阵，将异构邻居对象的隐藏表示(第一层的输入对象特征)投影到与目标对象类型对应的公共语义空间中。我们还定义了自投影矩阵(每个对象类型一个)，以将目标对象的表示投影到公共语义空间中。(2)对象级聚合。给定Ω-type目标对象与其Γ-type邻居对象之间的邻接矩阵AΩ−Γ，其行规范化matrixbAΩ−Γis用于在每个目标对象的邻居对象之间进行类型内聚合。我们展示了前两步本质上定义了在AΩ−Γ描述的二部图上的异构谱图卷积操作，第一步的投影矩阵作为卷积滤波器(第4.5.2节)。(3)类型层次聚合。我们开发了一种类型级的注意机制来学习不同类型的邻居对目标对象的重要性，并对对象级聚合结果执行相应的类型级聚合

与现有HIN GCN方法相比，所提出的ie-HGCN有以下两个显著特点:

• 可解释性：提出的对象级聚集和类型级聚集定义了每层中每个对象的邻域的选择概率分布。该聚合方案通过多层叠加，便于自适应学习每个对象的每个元路径概率重要性得分，保证了元路径的“个性化”有用性评价，增强了模型的可解释性。我们在第4.5.1节中正式证明了ie-HGCN可以评估长度限制(即模型深度)内的所有可能的元路径。
• 效率：ie-HGCN在进行多层迭代计算时对各种元路径进行评估。因此，它避免了基于元路径的图的耗时计算。此外，在每一层中，iehgcn首先使用行标准化邻接矩阵(这是一个合理的选择，我们将在第4.2节讨论它)将目标对象的各个类型的邻居聚合为超级“类型”对象，然后使用类型级别的注意来聚合它们。这种分层聚合架构也使我们的模型更加高效，因为:(1)它避免了在目标对象的邻域内进行大规模的softmax计算;(2)一个HIN通常只有少量的对象类型，这导致了非常高效的注意力计算。在第4.5.3节中，我们分析了ie-HGCN的时间复杂度，以验证其准线性可扩展性。

本文的其余部分组织如下。在第二部分，我们简要介绍了相关工作。在第三节中，我们正式定义了有关健康信息系统的一些概念和本文研究的问题。在第4节中，我们提出了ie-HGCN模型并分析了其理论性质。在第5节中，我们进行了广泛的实验来证明ie-HGCN相对于最先进的基线的优越性能，3个基准数据集上的3种方法。最后，我们在第6节对本文进行总结。

2 相关工作

HIN嵌入方法
近年来，人们提出了一系列的嵌入方法来学习HINs中对象的表示。EOE [5]， PTE[4]和HEER[3]将一个HIN分割成几个二部图，然后使用LINE模型[27]通过保持一阶或二阶近似来学习对象表示。HIN2Vec[12]通过预测两个对象是否有特定的关系来学习对象和元路径的表示。HINE[11]通过最小化两个分布之间的距离来学习对象表示，这两个分布分别在图上模拟基于元路径的接近度和在嵌入空间中的一阶接近度[27]。很多方法[6]、[7]、[8]、[9]、[10]首先由一组用户指定的元路径引导示例路径实例，然后根据生成的路径实例学习对象嵌入。具体来说，Esim[8]最大化/最小化每个观察/噪声路径实例的概率。SHNE[7]和metapath2vec[6]通过他们提出的异构跳过图来学习对象表示。这里[9]和MCRec[10]将HIN嵌入思想应用于推荐。HERec执行类型过滤，从采样的路径实例中获得同质的用户/项目序列，并优化目标，如跳过图[26]，以获得用户/项目嵌入。MCRec利用CNN对路径实例进行编码，生成元路径嵌入，然后通过与三元交互(用户、元路径、项)的协同注意，提高用户、项(通过矩阵分解初始化)和元路径的嵌入。然而，这些方法不能学习特定于任务的嵌入。虽然利用了结构属性，但它们都不能在长度限制内自动学习所有元路径的元路径重要性，更不用说特定任务的重要性了。

4模型

在本节中，我们将介绍ie-HGCN模型。图2(a)显示了在DBLP上ie-HGCN的总体架构。每层包含|A|个块，在每个块中，执行三个关键计算步骤。
表2总结了本文使用的主要符号。我们使用粗体的大写/小写字母来表示矩阵/向量。为了清晰起见，我们省略所有层特定符号的层索引。

4.1 映射

对于不同类型的对象，其特征位于不同的语义空间中。为了使这些不同类型的对象特征具有可比性，在每个块中，我们首先将不同类型的邻居对象的表示投射到一个新的公共语义空间中。

4.2 对象级聚合

在将邻居对象的所有隐藏表示投影到一个公共语义空间后，我们执行对象级聚合。然而，我们不能直接将GCN[31]应用到聚合中，因为一个对象的邻居在HINs中是不同类型的，即HINs的异构性。两个不同类型的对象之间的邻接矩阵甚至可能不是方阵。

另一种设计选择是采用类似于[25]中的对象级聚合的注意机制。然而，我们仍然坚持使用 由于以下原因：首先，(加权的)邻接矩阵可以为类型内聚合(即对象级聚合)提供足够好的权值。直观地说，在参考书目图表中，作者所写的论文同样有助于他/她的专业知识;在社交活动图表中，用户访问网店的次数自然代表了他/她对网店的偏好程度。其次，对象级注意在计算上效率低下，因为在现实世界的复杂网络中，对象可能有大量的邻居，这导致注意机制[26]中softmax的计算效率低下。通过避免在较大的邻居中计算softmax，可以进一步提高ie-HGCN的效率。我们将在4.5.3节分析ie-HGCN的时间复杂度。

虽然Eq.(2)类似于之前的方法[17]，[18]，[20]，[21]中的聚合思想，但我们的设计仍然有一些新颖的方面:(1)与之前的方法不同，我们计算了self-representationZSelf−Ω，它与下一节中引入的细心的类型级聚合一起，使ie-HGCN能够在长度限制(模型深度)内评估所有元路径的有用性。我们将在第4.5.1节证明这一点;(2) SincebAΩ−Γ通常不是一个方阵，因此不能通过特征分解得到傅里叶基，以前的工作没有提供理论分析来形式化地证明Eq.(2)是一个适当的卷积。在第4.5.2节中，我们将证明Eq.(2)本质上是二部图上的谱图卷积;

4.3 类型级映射

为了学习更全面的表示forVΩ，我们需要融合来自不同类型邻居对象的表示。对于目标对象，来自不同类型邻居对象的信息可能会对特定任务产生不同的影响。以DBLP中的纸质对象为例。在预测论文质量的任务中，论文发表地点的会议代表可能更重要。为此，我们提出了类型级注意力，自动学习不同类型的邻居对象的重要权重，并相应地聚合上一步对应的卷积表示。

4.

一旦从最后一层获得对象的最终表示，它们就可以用于各种任务，如分类、聚类等。损失函数可以根据具体的任务来定义。对于半监督多类对象分类，可以定义为每个对象类型下所有被标记对象的交叉熵之和(或加权之和):

6 结论

在本文中，我们提出了ie-HGCN来学习HIN中的对象表示。为了解决异构性，我们首先将不同类型的邻居对象的表示投射到一个公共语义空间。然后我们使用行标准化邻接矩阵来执行对象级聚合。我们正式地证明了前两步本质上在HIN上执行异构谱图卷积。最后，我们使用提出的类型级别的注意来聚合不同类型的邻居对象的卷积表示。我们的ie-HGCN自动评估HIN中所有可能的元路径，为特定任务发现和利用最有用的元路径，这为模型带来了良好的可解释性。理论分析和可扩展性实验表明，该方法是有效的。大量实验表明，ie-HGCN优于几种最先进的方法。

---

总结

本文提出的模型可以自动选取出最有用的元路径，并且具有良好的可解释性