论文阅读Heterogeneous Graph Attention Network

论文信息

题目

Heterogeneous Graph Attention Network
基于注意力机制的异构图神经网络

作者

Xiao Wang, Houye Ji，Chuan Shi等

论文水平

WWW 2019

其他

论文下载地址：https://arxiv.org/pdf/1903.07293.pdf
github:https://github.com/Jhy1993/HAN

---

ABSTRACT

当前图神经网络的缺点：未充分考虑异构图。

作者提出了一种基于层次注意力的异构图神经网络，包含节点级别和语义级别的注意力机制。节点级别的注意力旨在学习节点与其基于元路径的邻居之间的重要性，而语义级别的注意力可以学习不同元路径之间的重要性。

该模型聚合来自元路径的邻居的特征，然后生成节点的embeding。实验证明该模型达到了SOTA水平并具有很好的可解释性。

---

INTRODUCTION

异构图不同类型的节点具有不同的特征，它们的特征可能属于不同的特征空间中。
由于异构图的复杂性，传统的图神经网络无法直接应用于异构图。

故作者提出了Heterogeneous graph Attention Network（HAN）模型，一种基于层次注意力的异构图神经网络，包含节点级别和语义级别的注意力机制。

节点级别的注意力旨在学习每个节点其邻节点（包含自身节点）的相对重要性，并为其分配不同的注意力值。

语义级别的注意力旨在学习每个元路径的重要性并为其分配适当的权重，因为平等对待不同的元路径是不切实际的，并且会削弱某些有用的元路径提供的语义信息。

给定节点特征作为模型输入，使用特定类型的转换矩阵将不同类型的节点特征映射到同一空间中。

该模型可以以分层的方式的得到邻节点与多个元路径的最佳组合，从而使生成的节点embedding能够更好地捕获异构图中复杂的结构和丰富的语义信息。

该论文的主要贡献：

• 基于注意力机制的异构图神经网络研究的首次尝试。
• 提出HAN模型，该模型可同时考虑到节点和元路径的重要性，并且模型很高效，与节点对数呈线性复杂度。
• 模型具有较好的可解释性。

---

RELATED WORK

主要介绍了图神经网络和网络嵌入的相关工作，略。

---

PRELIMINARY

介绍了一下该论文中用到的一些概念。
介绍了什么是异构图、什么是元路径、什么是邻节点。
在异构图中，两个节点可以通过不同的语义路径（称为元路径）连接。
文中用到的符号释义：

---

THE PROPOSED MODEL

HAN模型结构图如下所示：

节点embedding计算过程图：

Node-level Attention

node-level attention可以学习每个节点其不同邻居节点的重要性，并将这些邻居节点的信息聚合起来生成node embedding。

对于每个类型的节点 ${\Phi }_i$，通过特定类型转换矩阵将不同类型节点的特征映射到同一特征空间，这样node-level attention便可处理任意类型的节点。原节点特征记作$h_i$，转化后的节点特征记为$h_i^{{}^{\prime }}$。

之后，利用自注意力机制计算各节点的权重。$e_{ij}^{\Phi }$表示节点i,j之间的重要性。$at{t}_{}$