HetSANN：基于注意力模型，自动挖掘异质网络语义信息 AAAI2020

论文来源：AAAI2020
论文链接
代码链接

现实世界中的数据通常包含了多种实体类型，这些实体通过不同的实体关系互相关联形成了错综复杂的异构信息网络。为了有效地挖掘业务中广泛存在的异构信息网络，滴滴AI Labs团队自主研发了一种基于注意力机制的异构图神经网络模型（HetSANN），该模型无需使用传统模型中由专家定义的元路径，能够直接自动化地处理、挖掘原异质信息网络中丰富的语义信息，为网络中的实体提取出更有效的编码表示以应用到实体分类等下游任务中。

相较之前方法的局限性，本文的主要创新点为：

1. 提出的HetSANN模型利用基于注意力机制的图卷积神经网络直接对异质信息网络进行嵌入式表示学习，不再需要用人为定义的元路径对异质信息网络进行处理；

2. 文本还探索了异质信息网络中关系的方向性、实体类型变换过程中的循环一致性、以及HetSANN在多任务学习中的应用。

异质信息网络的嵌入式表示学习

异质信息网络（又称异质图）是一种包含了两种以上顶点类型或关系类型的图结构数据（如图1a）。为了能够将异质图中蕴含的丰富语义信息嵌入到低维向量空间中，当前的主要方法是通过元路径将异质信息网络转化为同质图，再利用同质图的嵌入式表示方法学习该网络的向量表示（如图1b）。以HAN为例，该方法为学术异构信息网络定义了元路径“作者->文章->会议->文章->作者”来表示网络中“两个作者在同一个会议中发表过文章”的语义，进而得到了在该语义（元路径）上的同质图，最后利用图神经网络对该同质图进行嵌入式表示学习。

基于元路径的异构图表示学习方法依赖于领域专家预先定制的元路径，然而异质信息网络中蕴含的丰富语义信息往往很难用多个元路径穷尽。此外，在使用元路径来寻找目标顶点的邻居节点的过程中丢失了元路径途经的丰富信息，例如途经的链接边类型、顶点属性等。因此，如何在不损失异构信息的情况下对异构信息网络进行嵌入式表示学习是一项巨大的挑战。

为了能够得到更丰富的语义表示向量，本文提出了一种不再基于元路径的异构图嵌入式表示学习方法，命名为HetSANN（Heterogeneous Graph Structural Attention Neural Network）。如图2所示，HetSANN直接对原始的异质信息网络进行图结构卷积操作，通过目标任务（例如目标顶点分类等）的引导来挖掘异质信息网络中的结构信息并学习顶点的低维嵌入式表示。HetSANN的每一层为专门为异质结构网络设计的具有类型感知能力的注意力卷积层（Type-aware Attention Layer，TAL）。

为了提高模型的语义捕捉能力，每个TAL采用多头注意力机制对顶点的邻域节点进行信息聚合。如图3所示，TAL中的每一个注意力头都由两部分组成：1）顶点类型空间转换操作；2）邻域信息的聚合。以图中的顶点P1为例，首先我们将顶点P1以及它的邻居节点映射到P1节点类型（文章）的隐式空间中，即，将文章类型的邻居顶点通过$W_{P,P}^{(l+1,m)}$进行如公式（1）所示的线性变换映射到“文章”空间中，作者类型的邻居顶点通过 W P , A ( l + 1 , m ) W_{P,A}^{(l+1,m)} WP,A(l+<