HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019

论文题目：Heterogeneous Graph Attention Network （HAN）异构图注意力网络

作者：北京邮电大学Xiao Wang，Houye Ji等人

来源：WWW2019

论文链接：https://arxiv.org/pdf/1903.07293.pdf

tensorflow版代码Github链接：https://github.com/Jhy1993/HAN

介绍视频：https://www.bilibili.com/video/av53418944/

摘要

最近，深度学习中最令人兴奋的进步之一是注意机制，它的巨大潜力在各个领域。

本文首先提出了一种基于层次注意力的异构图神经网络，包括节点级注意力和语义级注意力。具体地说：

• 节点级注意力旨在学习节点与其基于元路径的邻居之间的重要性
• 语义级注意力能够学习不同元路径的重要性

通过从节点级和语义级两个层次上学习重要性，可以充分考虑节点和元路径的重要性。该模型通过对基于元路径的邻域特征进行分层聚合，生成节点嵌入。在三个真实世界的异质图上的大量实验结果不仅显示了我们所提出的模型比现有的模型更优越的性能，而且也显示了它潜在的良好的图分析的可解释性。

1、相关介绍

背景

现实世界中的数据通常与图表结构（如社交网络、引文网络和万维网）结合在一起。图形神经网络（GNN）作为一种强大的图形数据深度表示学习方法，在网络分析方面表现出了优异的性能，引起了广泛的研究兴趣。例如，[10，20，24]利用深度神经网络来学习基于节点特征和图结构的节点表示。一些文献[6，14，18]将卷积运算推广到图上，提出了图卷积网络。深度学习的一个最新研究趋势是注意机制，它处理可变大小的数据，并鼓励模型关注数据中最显著的部分。它在深层神经网络框架中的有效性得到了证明，并被广泛应用于文本分析[1]、知识图[25]和图像处理[38]等领域。图注意网络（GAT）[35]是一种新颖的卷积型图神经网络，它利用了只包含一类节点或链接的齐次图的注意机制。

尽管注意机制在深度学习中取得了成功，但在异构图的图神经网络框架中却没有得到考虑。事实上，现实世界中的图通常带有多种类型的节点和边，也被广泛称为异构信息网络（HIN）[28]。为了方便起见，本文统一称之为异构图。由于异构图包含的信息更加全面，语义更加丰富，因此在许多数据挖掘任务中得到了广泛的应用。元路径[32]是连接两个对象的复合关系，是一种广泛使用的语义捕获结构。根据元路径的不同，异构图中节点之间的关系可以有不同的语义。由于异构图形的复杂性，传统的图形神经网络不能直接应用于异构图形。基于以上分析，在设计具有注意机制的异构图神经网络体系结构时，需要解决以下新的需求。

以 Graph Convolutional Network，Graph Attention Network 为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以很自然地建模为异质图（多种类型的节点和边）。如图 1 所示，IMDB 数据中包含三种类型的节点 Actor、Movie 和 Director，两种类型的边 Actor-Movie 和 Movie-Director。

相对于同质图神经网络，异质图神经网络具有更强的现实意义可以更好的满足工业界需求。如阿里巴巴正在建设亿级节点十亿级边的异质图神经网络平台 AliGraph 来满足整个阿里集团各种商业化场景需求。因此亟需展开面向异质图的图神经网络模型研究，而异质图的异质性却又给设计图神经网络带来了巨大的挑战。

元路径 meta-path

在异构图中，两个节点可以通过不同的语义路径连接，称为元路径（meta-path），如图1中，Movie-Actor-Movie（MAM）和Movie-Year-Movie (MYM)都是不同的meta-path。不同的meta-path有不同的语义。如图1中， meta-path Movie-Actor-Movie (MAM)表示电影的演员相同， meta-path Movie-Director-Movie (MDM) 表示电影的导演相同。

异构图和同构图

 

• Heterogeneous Graph（异构图）：异构图是一种特殊的异构信息网络，包含了多种类型的边和节点。例如，图1中的演员节点的特征可能包括性别，年龄和国籍，而电影节点的特征可能包括情节，演员等。边的不同类型可以体现在电影与导演的拍摄关系演员与电影的角色扮演关系。
• Homogeneous Graph（同构图）：同构图的节点类型和边的类型单一。例如，引文网络中的节点都是文档。

在设计异质图神经网络的时候，从异质图的复杂