《Graph Neural Networks Foundations,Frontiers and Applications》第一部分第二章第2.3.1.1节翻译和解读

书名：《Graph Neural Networks Foundations,Frontiers and Applications》(图神经网络的基础、前沿和应用)

出版社：Springer Berlin Heidelberg

作者：Lingfei Wu · Peng Cui · Jian Pei · Liang Zhao

红色部分为个人的一些解读，不足之处请多多指点！

第一部分 引言

第二章 图表示学习

第2.3节 现代图嵌入

        为了很好地支持网络推理，现代图嵌入考虑了图中更丰富的信息。根据图表示学习中保留的信息类型，现有的方法可以分为三类：（1）保留图结构和属性的图嵌入；（2）带有侧面信息的图表示学习；（3）高级信息保留的图表示学习。在技术方面，采用不同的模型来纳入不同类型的信息或解决不同的目标。常用的模型包括矩阵分解、随机行走、深度神经网络及其变化。

第2.3.1节结构-属性保护的图形表示学习

        在图中编码的所有信息中，图的结构和属性是两个关键因素，在很大程度上影响着图的推理。因此，图表示学习的一个基本要求是适当地保留图的结构和捕捉图的属性。通常情况下，图结构包括一阶结构和高阶结构，如二阶结构和社区结构。不同类型的图有不同的属性。例如，有向图具有不对称的反证性质。结构平衡理论广泛适用于有符号图。

第2.3.1.1节保存结构的图形表示学习

        图形结构可以分为不同的组，以不同的粒度呈现。图表示学习中常用的图结构包括邻域结构、高阶节点邻近性和图社区。

        如何定义图中的邻域结构是第一个挑战。基于发现短的随机游走中出现的节点分布与自然语言中的单词分布相似，DeepWalk（Perozzi等人，2014）采用了随机行走来捕捉邻域结构。然后对于随机游走产生的每个行走序列，按照Skip-Gram，DeepWalk的目标是最大化行走序列中节点的邻居的概率。Node2vec定义了一个灵活的节点图邻域概念，并设计了一个二阶随机游走策略来对邻域节点进行采样，它可以在广度优先采样（BFS）和深度优先采样（DFS）之间平滑插值。除了邻域结构，LINE（Tang et al, 2015b）被提出用于大规模的网络嵌入，它可以保留一阶和二阶接近性。一阶接近度是两个节点之间观察到的成对接近度。二阶接近度是由两个节点的 "上下文"（邻居）的相似度决定的。两者在衡量两个节点之间的关系方面都很重要。从本质上讲，LINE是基于浅层模型的，因此，其表现能力是有限的。SDNE（Wang等人，2016）提出了一个网络嵌入的深度模型，其目的也是为了捕捉一阶和二阶的近似关系。SDNE使用具有多个非线性层的深度自动编码器架构来保留二阶接近性。为了保留一阶接近性，采用了拉普拉斯特征图的思想（Belkin和Niyogi，2002）。Wang等人（2017g）提出了一个用于图表示学习的模块化非负矩阵分解（M-NMF）模型，该模型旨在同时保留微观结构，即节点的一阶和二阶接近性，以及中观的社区结构（Girvan和Newman，2002）。他们采用NMF模型（Févotte和Idier，2011）来保留微观结构。同时，通过模块化最大化检测群落结构（Newman, 2006a）。然后，他们引入了一个辅助的社区表示矩阵来连接节点的表示和社区结构。通过这种方式，学习到的节点表征同时受到微观结构和社群结构的制约。

        综上所述，许多网络嵌入方法的目的是在潜在的低维空间中保留节点的局部结构，包括邻域结构、高阶邻近性以及社区结构。线性和非线性模型都得到了尝试，显示了网络嵌入中深度模型的巨大潜力。