【论文解读|AAAI2020】HetSANN-An Attention-based Graph Neural Network for Heterogeneous Structural Learning

论文题目：An Attention-based Graph Neural Network for Heterogeneous Structural Learning

论文来源：AAAI 2020
论文链接：https://arxiv.org/abs/1912.10832
代码链接：https://github.com/didi/hetsann
阅读参考：https://blog.csdn.net/byn12345/article/details/105146171
关键词：HIN，表示学习，attention，不使用元路径

摘要

本文主要研究异构信息网络(HIN)的图表示学习，HIN中各种类型的顶点由各种类型的关系连接。目前在HIN上进行的大多数方法都是通过元路径修改同构图嵌入模型，学习HIN的低维向量空间。本文提出了一种新的异构图结构注意神经网络(HetSANN)，该网络不需要元路径就能直接对HIN的结构信息进行编码，从而实现更多的信息表示。该方法不需要领域专家设计元路径方案，能够自动处理异构信息。具体而言，我们采用以下两种方法隐式表示异构信息:

• 通过低维实体空间中的投影对异构顶点之间的转换进行建模;
• 然后，利用图神经网络通过注意力机制对投影邻域的多关系信息进行聚合。

我们还提出了HetSANN的三个扩展，即针对HIN中成对关系的语音共享产品关注、保持异构实体空间之间转换的周期一致性损失和充分利用信息的多任务学习。在三个公共数据集上进行的实验表明，与最先进的解决方案相比，我们提出的模型实现了显著和持续的改进。

1 引言

图嵌入追求图的信息数字表示，它促进了图的各种应用，如分类、链接预测和实体对齐。大多数现有的方法在同构图上执行图嵌入，其中所有的节点和关系(也就是链接或边)都是相同类型的。例如，DeepWalk (Perozzi, al - rou, and Skiena 2014)在低维向量空间中最小化节点与其相邻节点之间的距离，来保留同构图中的结构信息。然而，现实世界的数据往往以异构图的形式呈现，它将信息的不同方面组合在一起。
异构信息网络(HIN)。一个HIN(即异构图)包含两种以上的节点或边。图1a给出了HIN的一个玩具样例，包括三种类型的节点(author, paper, conference)和六种类型的边(cite/cited, write/written, publish/published)。注意，这里我们将HIN中的顶点之间的关系视为有向边，并将HIN中的有向关系(例如，write)设置为反向关系(例如，write)。与同质图相比，HIN面临两个主要挑战:

• C1：如何对多种类型节点的实体空间进行建模? 在齐次图中，所有节点都嵌入到相同的低维实体空间中。相比之下，HIN中的各种类型的节点自然地建模在不同的空间中。然而，一个顶点可以连接到多种类型的节点，例如，一篇论文是作者写的，它将被学术会议发表。设计不同类型实体空间中顶点之间的交互方式是非常必要的。
• **C2：如何保留节点之间不同的语义关系？**对于一个HIN，不同的节点对和相同的节点对之间存在着各种各样的关系。在学术图的情况下，一个作者可以引用另一个作者，同时他们可以是一些论文的共同作者。不同的关系引出了顶点不同的语义内容。因此，对与一个顶点有不同关系的相邻顶点的表征决定了学习到的低维表示空间的性能。

目前关于HIN嵌入的研究大多集中在通过元路径将HIN适应于同质表示学习算法上(Shi et al. 2016)。如图1b所示，作者之间的联系可以基于设计的元路径方案apcpa和齐次图的表示学习算法来生成，例如，metapath2vec (Dong, Chawla, and Swami 2017)中采用的DeepWalk (Perozzi, al - rou, and Skiena 2014)或GNN (Gori, Monfardini，和Scarselli 2005)在HAN (Wang et al. 2019)中使用的，对生成的图实现。关于基于元路径的方法的更多细节，请参见第4节。
尽管meta-path-based异构图形嵌入方法的成功,这些解决方案采用手工meta-path findhomogeneousnodeneighbors方案,使他们遭受两个主要问题:1)meta-path依赖专家的方案,并且很难详尽列举并选择有价值的手工meta-path计划;2)元路径传递的信息，如异构节点或边缘的特征，在生成基于元路径的节点对的过程中丢失，甚至可能导致嵌入性能较差。

在本文中，我们摒弃了元路径，提出了一种既保留结构信息又保留语义信息的HIN低维向量空间学习方法。具体来说，我们利用图神经网络(graph neural network, GNN)来传递HIN的结构信息，通过任务导向的目标函数(本文为节点分类损失)对模型进行训练。为了解决上述HIN的挑战，我们设计了一个专用的类型感知注意力层，而不是传统GNN中的卷积层。对于每个类型感知的注意层，定义了一个转换操作，将不同实体空间的顶点投射到相同的低维目标空间，用于异构节点(C1)之间的交互，采用针对不同类型边的注意策略对不同语义的相邻顶点进行聚合(C2)。此外，我们还开发了两种类型感知注意力层的注意力评分函数，包括concat-product和voice-sharing product。为了更好地建模异构节点之间的交互，我们进一步对转换操作引入了限制。最后，我们在我们提出的模型中执行多任务学习，这通常有利于表示的鲁棒性。

本文贡献：

• 我们提出了异构图结构注意神经网络(HetSANN)。与以前的基于元路径的解决方案不同，HetSANN直接利用并探索异构图中的结构来实现更多的信息表示。
• 我们提出了HetSANN的三个扩展:(E1)提高了多任务学习的信息共享程度。(E2)考虑有向边和倒向边的成对关系(voices-sharing product)。(E3)对转换操作引入约束以保持循环一致。
• 我们用三个异构图数据集上的节点分类任务来评估提出的HetSANN。实验结果表明，与各种先进技术相比，HetSANN具有优越性。此外，对三种扩展的HetSANN进行了消融研究，结果表明，三种扩展都比原始HetSANN的效果更好。

2 异构图结构注意神经网络（HetSANN）

文章的亮点在于不使用元路径对HIN进行表示学习，同样不使用元路径的方法还有GTNs和HGT。

HetSANN模型的核心在于类型感知的注意力层（多头注意力），它进行消息聚合的时候不是通过元路径聚合信息，而是聚合来自所有连边的信息。由于邻居节点的异质性，每种类型的节点都有自己的特征空间，在聚合之前要进行转换操作，将邻居节点转换到目标节点的空间。

一层TAL只能聚合一跳的邻居，为了捕获到更丰富的结构信息需要堆叠多层TAL，因此引入了残差连接。

实验结果显示，原始的HetSANN模型已经表现很好了，作者还在此基础上提出了3个扩展。

但是使用循环一致性损失的HetSANN和不使用的模型相比差别很小，作者认为是损失函数中用可训练的矩阵替换了逆矩阵的原因，还需要进一步研究。

5 结论

提出了一种基于异构图中结构信息的无元路径嵌入算法HetSANN。我们设计了一种类型感知的HetSANN关注层，通过连接不同类型的邻近节点和关联链接来嵌入异构图的每个顶点。我们的模型的几个变体是基于三个扩展开发的，即语音共享产品，周期一致性损失和多任务学习。在三个流行的数据集上的综合实验表明，所提出的解决方案在HIN嵌入和节点分类方面优于现有的方法。在HetSANN框架下，HIN的表示学习不需要依赖元路径来处理异构的结构信息，以后的工作中将考虑顶点的异构属性。