书名:《Graph Neural Networks Foundations,Frontiers and Applications》(图神经网络的基础、前沿和应用)
出版社:Springer Berlin Heidelberg
作者:Lingfei Wu · Peng Cui · Jian Pei · Liang Zhao
红色部分为个人的一些解读,不足之处请多多指点!
第一部分 引言
第一章 表示学习
第1.2节 不同领域的表示学习
第1.2.4节 用于网络结构的表示学习
除了图像、文本和声音等流行数据之外,网络数据也是另一种重要的数据类型,它在从网格网络(如社交网络、引文网络、电信网络等)到物理网络(如交通网络、生物网络等)的大规模现实应用中变得无处不在。网络数据可以用数学形式表示为图,其中顶点及其关系共同表示网络信息。网络和图是非常强大和灵活的数据形式,因此有时我们甚至可以将其他数据类型(如图像和文本)视为其特例。例如,图像可以被视为具有RGB属性的节点网格,这些属性是特殊类型的图,而文本也可以组织为顺序、树或图结构信息。因此,一般来说,网络表示学习被广泛认为是一项有前途但更具挑战性的任务,需要我们为图像、文本等开发的许多技术的进步和推广。除了网络数据固有的高复杂性之外,考虑到许多现实世界网络的大规模,从数百到数百万甚至数十亿个顶点,网络上的表示学习效率也是一个重要问题。分析信息网络在跨多个学科的各种新兴应用程序中发挥着至关重要的作用。例如,在社交网络中,将用户划分为有意义的社交群体对于许多重要任务都很有用,例如用户搜索、定向广告和推荐;在通信网络中,检测社区结构有助于更好地了解谣言传播过程;在生物网络中,推断蛋白质之间的相互作用可以促进疾病的新治疗。然而,对这些网络的高效分析在很大程度上依赖于网络的良好表示。
传统的网络数据特征工程通常侧重于在图层面(如直径、平均路径长度和聚类系数)、节点层面(如节点度和中心度)或子图层面(如频繁子图和图主题)获得一些预定义的直接特征。那些数量有限的手工制作的、定义明确的特征,虽然描述了图的几个基本方面,但抛弃了那些不能被它们覆盖的模式。此外,现实世界的网络现象通常是高度复杂的,需要复杂的、未知的组合,在这些预定义的特征中,或者不能被任何现有的特征所描述。此外,传统的图特征工程通常涉及昂贵的计算,具有超线性或指数级的复杂性,这往往使许多网络分析任务的计算成本很高,在大规模网络中难以实现。例如,在处理社区检测任务时,经典方法涉及计算矩阵的谱分解,其时间复杂度至少为顶点的数量。这种计算开销使得算法难以扩展到具有数百万顶点的大规模网络。(这也是如今图神经网络面临的可扩展主要问题)
最近,网络表示学习(NRL)引起了很多研究兴趣。NRL旨在学习潜在的、低维的网络顶点表示,同时保留网络拓扑结构、顶点内容和其他侧面信息。在学习了新的顶点表示后,通过对新的表示空间应用传统的基于向量的机器学习算法,可以轻松有效地进行网络分析任务。早期与网络表示学习有关的工作可以追溯到21世纪初,当时研究人员提出了作为降维技术一部分的图嵌入算法。给定一组独立和相同分布(i.i.d.)的数据点作为输入,图嵌入算法首先计算成对数据点之间的相似性,以构建一个亲和图,例如k-近邻图,然后将亲和图嵌入到一个具有更低维度的新空间。然而,图的嵌入算法主要是为了降维而设计的,其时间复杂度通常与顶点的数量有关,至少是二次。
自2008年以来,大量的研究工作转向开发直接为复杂信息网络设计的有效和可扩展的表示学习技术。许多网络表示学习算法(Perozzi等人,2014;Y ang等人,2015b;Zhang等人,2016b;Manessi等人,2020)已经被提出来嵌入现有网络,在各种应用中显示出良好的性能。这些方法将网络嵌入到一个潜在的、低维的空间中,保留了结构接近性和属性亲和性。由此产生的紧凑、低维的矢量表示可以作为任何基于矢量的机器学习算法的特征。这为在新的向量空间中轻松有效地处理各种网络分析任务铺平了道路,如节点分类(Zhu等人,2007)、链接预测(Lü和Zhou,2011)、聚类(Malliaros和V azirgiannis,2013)、网络综合(Y ou等人,2018b)。然后,本书以下各章将对网络表示学习进行系统而全面的介绍。