本文主要梳理了 2019 年各大顶会上关于异质图神经网络的论文,包括算法研究及应用研究。同时,作者也整理了相关大牛老师/论文/资料/数据集供大家学习。
作者丨纪厚业
学校丨北京邮电大学博士生
研究方向丨异质图神经网络及其应用
图神经网络是近年来图数据挖掘领域的热⻔研究⽅向之⼀,尤其以 Graph Convolutional Network,Graph Attention Network 为代表的图神经网络已经引起了学术界与⼯业界的⼴泛关注。
然⽽,⽬前的图神经网络主要针对同质图(节点类型和边类型单⼀)设计。同质图中只有⼀种类型的节点和边(例如,只有朋友关系的社交网络),网络结构较为简单。因此,同质图神经网络通常只需要聚合单⼀类型的邻居来更新节点的表示即可(例如,通过在朋友关系下的邻居来更新节点表示)。
但真实世界中的图大部分都可以被自然地建模为异质图(多种类型的节点和边,如下图所示,IMDB 数据中包含三种类型的节点 Actor、Movie 和 Director,两种类型的边 Actor-Moive 和 Movie Director)。多种类型的节点和丰富的语义信息给异质图神经网络设计带来了巨大挑战。
与同质图不同,异质图通常需要需要考虑不同关系下邻居信息的差异。因此,异质图神经网络通常采用层次聚合的⽅式:1) 节点级别(下图 (a))。针对节点,找到其在某种关系下的邻居并聚合邻居信息来得到节点在某种关系下的表示;2) 语义级别(下图 (b))。对多种关系(不同的边类型/元路径)下的节点表示进⾏融合,得到⼀个较为全⾯的节点表示。元路径是⼀种节点间的连接模式,如上图中的 Movie-Actor-Movie 和 Movie-Director-Moive。注意,不同类型的边关系(如 Movie Actor)可以认为是⻓度为 1 的元路径。
接下来的章节,我们首先梳理了⼏种异质图神经网络的架构设计,然后介绍了异质图神经网络在的实际应用(NLP/推荐/恶意评论检测)。最后,附上了异质图分析的相关导师/论文/资料/数据集。
模型
WWW 2019
本文由北京邮电大学联合清华大学和西弗吉尼亚大学发表在 WWW 2019 上。 本文首次提出了基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network (HAN),可以⼴泛地应用于异质图分析。作者也开源了相关的代码和数据:
https://github.com/Jhy1993/HAN
HAN 也遵循经典的异质图神经网络架构(节点级别聚合与语义级别聚合)。为了更好的实现层次聚合函数,HAN 利用语义级别注意力和节点级别注意力来同时学习元路径与节点邻居的重要性,并通过相应地聚合操作得到最终的节点表示。这是⼀个很自然的想法,因为节点邻居的重要性或者是元路径的重要性肯定是有所差异的。如果能捕获这种差异性应该能带来⼀定的提升。模型整体架构如下图所示:
HAN 中节点级别的聚合:
这里设计了节点级别的注意力旨在学习在给定元路径 Φ 下不同邻居 j 的重要性,然后通过加权平均来学习节点在某个语义下的表示。
这里, 代表节点 i 在元路径 Φ 下的邻居 的重要性,
代表节点 i 在元路径 Φ 下的表示。注意,
只能描述节点某⼀个⽅⾯的特点。给定⼀组元路径
,我们可以得到⼀组节点表示
。
HAN 中语义级别的聚合:
这里涉及了语义级别注意力旨在学习多个元路径下的节点表示的重要性,并进⾏加权融合。
其中,代表各个元路径的重要性,Z 代表最终的节点表示。可以看出,Z 融合了节点多个⽅⾯的表示,可以更加全⾯的对节点进⾏描述。
KDD 2019