图嵌入综述 (arxiv 1709.07604) 译文 4.3 ~ 4.7

原文：A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications (arxiv 1709.07604)

译者：飞龙

协议：CC BY-NC-SA 4.0

自豪地采用谷歌翻译

基于边重构的优化问题

总体见解： 基于节点嵌入建立的边应尽可能与输入图中的边相似。

第三类图嵌入技术通过最大化边重建概率，或最小化边重建损失，来直接优化基于边重建的目标函数。 后者进一步分为基于距离的损失和基于边距的排名损失。 接下来，我们逐一介绍这三种类型。

最大化边重建概率

见解： 良好的节点嵌入最大化了在图中观察到的边的生成概率。

良好的节点嵌入应该能够重新建立原始输入图中的边。 这可以通过使用节点嵌入最大化所有观察到的边（即，节点成对接近）的生成概率来实现。

节点对 和 之间的直接边，表示它们的一阶邻近度 ，可以使用嵌入来计算 和 的联合概率：

(13)

上述一阶邻近度存在于图中的任何一对连接节点之间。 为了学习嵌入，我们最大化了在图中观察这些邻域的对数似然。 然后将目标函数定义为：

(14)

同样， 和 的二阶邻近度是条件概率 由 使用 和 生成：

(15)

它可以被解释为在图中随机游走的概率，它开始于 结束于 。 因此图嵌入目标函数是：

(16)

其中 是从图中采样的路径中， 的集合。即来自每个采样路径的两个端节点。 这模拟了二阶邻近度，作为从 到 的随机游走的概率。

最小化基于距离的损失

见解： 基于节点嵌入计算的节点邻近度，应尽可能接近基于观察到的边计算的节点邻近度。

具体来说，可以基于节点嵌入来计算节点邻近度，或者可以基于观察到的边凭经验计算节点邻近度。 最小化两种类型的邻近度之间的差异，保持了相应的邻近度。

对于一阶邻近度，可以使用公式 13 中定义的节点嵌入来计算它。 经验概率是 ，其中 是边 的权重。 和 两者之间的距离越小，就能保持更好的一阶邻近度。 使用KL-散度作为距离函数来计算 和 间的差异，并且省略了一些常量，在图嵌入中保留一阶邻近度的目标函数是：

(17)

同样， 和 的二阶邻近度是由节点 生成的条件概率 （公式 15）。 的经验概率计算为 ，其中 是节点的出度（无向图的情况中是度） 。与公式 10 相似，计算公式 15 非常昂贵。 再次将负采样用于近似计算来提高效率。 通过最小化 和 之间的 KL 差异，保持二阶邻近度的目标函数是：

(18)

**表8：**基于边重建的图嵌入。 是指公式 14，16~19 之一。例如 ， （word-label）是指 公式 18，带有单词节点和标签节点。 表示节点 的类型。

GE算法	目标	邻近度阶数
PALE [18]	（节点，节点）	1
NRCL [4]	（节点，邻居节点）+ （属性损失）
PTE [124]	（单词，单词）+ （单词，文档）+ （单词，标签）
APP [3]	（节点，节点））
GraphEmbed [83]	（单词，单词）+ （单词，时间）+ （单词，位置）+ （时间，地点）+ （位置，位置）+ （时间，时间）	2
[41,42]	（车站，公司）， （车站，角色）， （目的地，出发地）
PLE [84]	（提示，类型）+ （提示，特性）+ （类型，类型）
IONE [26]	（节点，节点）+ （锚对齐）
HEBE [45]	（节点，超边中的其他节点）
GAKE [38]	（节点，邻居上下文）+ （节点，路径上下文）+ （节点，边上下文）
CSIF [64]	（用户对，扩散内容）
ESR [69]	（实体，作者）+ （实体，实体）+ （实体，单词）+ （实体，场地）
LINE [27]	（节点，节点）+ （节点，节点））
EBPR [71]	（AUC 排名）+ （节点，节点）+ （节点，节点上下文）	1 和 2
[94]	（问题，答案）	1，2 和 更高

最小化基于边距的排名损失

在基于边距的排名损失优化中，输入图的边指代节点对之间的相关性。 图中的一些节点通常与一组相关节点相关联。 例如，在cQA网站中，一组答案被标记为与给定问题相关。 对损失的见解是直截了当的。

见解： 节点的嵌入更类似于相关节点的嵌入，而不是任何其他不相关节点的嵌入。

表示节点 和 的相似性得分， 表示与 相关的节点集， 表示不相关的节点集。 基于边距的排名损失定义为：

(19)

其中 是边距。 减少损失排名，可以促进 和 之间的巨大边距，从而保证 的嵌入更接近其相关节点而不是任何其他不相关节点。

在表 8 中 ，我们基于其目标函数和保留的节点邻近度，总结了基于边重建的现有图嵌入方法。 通常，大多数方法使用上述目标函数之一（公式 14，16~19）。 [71]优化 AUC 排名损失，这是基于边距的排名损失的替代损失（公式 19 ）。 请注意，当在图嵌入期间同时优化另一个任务时，该任务特定的目标将被纳入总体目标中。 例如，[26]旨在对齐两个图。 因此，网络对齐的目标函数与 （公式 18）一起优化。

值得注意的是，大多数现有知识图嵌入方法选择优化基于边距的排名损失。 回想一下知识图 由三元组 组成，表示头部实体 通过关系 链接到尾部实体 。 嵌入 可以解释为，保留真正三元组的排名 ，优于 中不存在的假的三元组 。 特别是在知识图嵌入中，类似于公式 19 的 ，能量函数 为三元组 而设计。 这两个函数之间略有不同。 表示节点嵌入 和 之间的相似性得分，而 是嵌入 和 在关系 方面的距离得分。 的一个例子是 ，其中关系表示为嵌入空间中的变换 [91]。 的其他选项总结在表 9 中。 因此，对于知识图嵌入，公式 19 变为：

(20)

其中 是输入知识图中的三元组。 现有的知识图嵌入方法主要是在他们的工作中优化公式 20。它们之间的区别在于 的定义，如表 9 所示。 知识图嵌入相关工作的更多细节，已在 [13] 中进行了详细的回顾。

**表9：**使用基于边距的排名损失的知识图嵌入。

GE算法	能量函数
TransE [91]
TKRL [53]
TransR [15]
CTransR [15]
TransH [14]
SePLi [39]
TransD [125]
TranSparse [126]
m-TransH [127]
DKRL [128]
ManifoldE [129]	球面：
	超平面：
	是希尔伯特空间的映射函数
TransA [130]
puTransE [43]
KGE-LDA [60]
SE [90]
SME [92]线性
SME [92]双线性
SSP [59]	，
NTN [131]
HOLE [132]	，其中 是环形相关度
MTransE [133]

请注意，一些研究联合优化排名损失（公式式20 ）和其他目标来保留更多信息。 例如，SSP [59]使用公式 20 联合优化了主题模型的丢失，将文本节点描述用于嵌入。 [133]对单语关系进行分类，并使用线性变换来学习实体和关系的跨语言对齐。 还存在一些工作，为三元组 定义匹配度分数而不是能量函数。 例如，[134]定义了双线性分数函数 它增加了常态约束和交换约束，在嵌入之间加入类比结构。 ComplEx [135]将嵌入扩展到复数域并将 的实部定义为得分。

总结：基于边重建的优化适用于大多数图嵌入设定。 据我们所知，只有非关系数据（第 3.1.4 节）和整图嵌入（第 3.2.4 节）尚未尝试过。 原因是重建手动构造的边不像其他图那样直观。 此外，由于该技术侧重于直接观察到的局部边，因此不适合于整图嵌入。

图核

见解： 整个图结构可以表示为一个向量，包含从中分解的基本子结构的数量。

图核是 R-convolution 核的一个实例[136]，它是定义离散复合对象上的核的通用方法，通过递归地将结构化对象分解为“原子”子结构，并比较它们的所有对[93]。 图核将每个图示为向量，并且使用两个向量的内积来比较两个图。 图核中通常定义了三种类型的“原子”子结构。

Graphlet。graphlet 是一个大小为 K 的感应的和非同构子图 [93]。 假设图 被分解为一组 graphlet 。然后 嵌入为标准化计数的d维向量（表示为 ）。 该 的维度 是 中 Graphlet 的出现频率。

子树模式。 在此核中，图被分解为其子树模式。 一个例子是 Weisfeiler-Lehman 子树[49]。 特别是，在标记图（即，具有离散节点标签的图）上进行重新标记的迭代过程。 在每次迭代中，基于节点及其邻居的标签生成多集标签。 新生成的多集标签是一个压缩标签，表示子树模式，然后用于下一次迭代。 基于图同构的 Weisfeiler-Lehman 检验，计算图中标签的出现等同于计算相应的子树结构。 假设 在图上执行重新标记的迭代 。 它的嵌入 包含 块。 该 中的维度 第一块 是频率 -th标签被分配给一个节点 第二次迭代。

随机游走 。 在第三种类型的图核中，图被分解为随机游走或路径，并表示为随机游走的出现次数[137]或其中的路径[138]。 以路径为例，假设图 被分解成 个最短路径。将第i个路径表示为三元组 ，其中 和 是起始节点和结束节点的标签， 是路径的长度。 然后 表示为d维向量 ，其中第i个维度是 中第i个三元组的频率。

简介：图核专为整图嵌入（Sec.3.2.4）而设计，因为它捕获整个图的全局属性。 输入图的类型通常是同构图（第 3.1.1 节）[93]或带有辅助信息的图（第 3.1.3 节）[49]。

生成模型

生成模型可以通过规定输入特征和类标签的联合分布来定义，以一组参数为条件[139]。 一个例子是 Latent Dirichlet Allocation（LDA），其中文档被解释为主题上的分布，主题是单词上的分布[140]。 采用生成模型进行图嵌入有以下两种方法。

潜在语义空间中的图嵌入

见解： 节点嵌入到潜在的语义空间中，节点之间的距离解释了观察到的图结构。

第一种基于生成模型的图嵌入方法，直接在潜在空间中嵌入图。 每个节点表示为潜在变量的向量。 换句话说，它将观察到的图视为由模型生成的。 例如，在LDA中，文档嵌入在“主题”空间中，其中具有相似单词的文档具有类似的主题向量表示。 [70]设计了类似LDA的模型来嵌入基于位置的社交网络（LBSN）图。 具体来说，输入是位置（文档），每个位置包含访问该位置的一组用户（单词）。 由于某些活动（主题），用户访问相同的位置（单词出现在同一文档中）。 然后，模型被设计为将位置表示为活动的分布，其中每个活动具有对用户的吸引力分布。 因此，用户和位置都表示为“活动”空间中的向量。

包含潜在语义的图嵌入

见解： 图中接近且具有相似语义的节点的嵌入应该更紧密。 可以通过生成模型，从节点描述中检测节点语义。

在这一系列方法中，潜在语义用于利用辅助节点信息进行图嵌入。 嵌入不仅由图结构信息决定，而且由从其他节点信息源发现的潜在语义决定。 例如，[58]提出了一个统一的框架，它共同集成了主题建模和图嵌入。 其原理是如果嵌入空间中两个节点接近，它们也具有相似的主题分布。 设计从嵌入空间到主题语义空间的映射函数，以便关联两个空间。 [141]提出了一种生成模型（贝叶斯非参数无限混合嵌入模型），以解决知识图嵌入中的多关系语义问题。 它发现了关系的潜在语义，并利用混合关系组件进行嵌入。 [59]从知识图三元组和实体和关系的文本描述中嵌入知识图。 它使用主题建模来学习文本的语义表示，并将三元组嵌入限制在语义子空间中。

上述两种方法的区别在于嵌入空间是第一种方式的潜在空间。相反，在第二种方式中，潜在空间用于整合来自不同来源的信息，并有助于将图嵌入到另一个空间。

简介：生成模型可用于节点嵌入（Sec.3.2.1）[70]和边嵌入（Sec.3.2.2）[141]。 在考虑节点语义时，输入图通常是异构图（第 3.1.2 节）[70]或带有辅助信息的图（第 3.1.3 节）[59]。

混合技术和其它

有时在一项研究中结合了多种技术。 例如，[4]通过最小化基于边的排序损失来学习基于边的嵌入（第 4.3 节），并通过矩阵分解来学习基于属性的嵌入（第 4.1 节）。 [51]优化基于边距的排名损失（第 4.3 节），基于矩阵分解的损失（第 4.1 节）作为正则化项。 [32]使用LSTM（第 4.2节）来学习cQAs的句子的嵌入，以及基于边际的排名损失（第4.3节）来结合好友关系。 [142]采用CBOW / SkipGram（第 4.2 节）进行知识图实体嵌入，然后通过最小化基于边际的排名损失来微调嵌入（第 4.3 节）。 [61]使用word2vec（第 4.2 节）嵌入文本上下文和TransH（第 4.3 节）嵌入实体/关系，以便在知识图嵌入中利用丰富的上下文信息。 [143]利用知识库中的异构信息来提高推荐效果。 它使用TransR（第 4.3 节）进行网络嵌入，并使用自编码器进行文本和视觉嵌入（第 4.2 节）。 最后，提出了一个生成框架（第 4.5 节），结合协同过滤与项目的语义表示。

除了引入的五类技术之外，还存在其他方法。 [95]提出了根据原型图距离的图的嵌入。 [16]首先使用成对最短路径距离嵌入一些标志性节点。 然后嵌入其他节点，使得它们到标志性子集的距离尽可能接近真实的最短路径。 [4]联合优化基于链接的损失（最大化节点的邻居而不是非邻居的观测似然）和基于属性的损失（基于基于链接的表示学习线性投影）。 KR-EAR [144]将知识图中的关系区分为基于属性和基于关系的关系。 它构造了一个关系三元编码器（TransE，TransR）来嵌入实体和关系之间的相关性，以及一个属性三元编码器来嵌入实体和属性之间的相关性。 Struct2vec [145]根据用于节点嵌入的分层指标，来考虑节点的结构性标识。 [146]通过近似高阶邻近矩阵提供快速嵌入方法。

总结

我们现在总结并比较表10中所有五类图嵌入技术的优缺点。

**表10：**图嵌入技术的比较。

类别	子类别	优点	缺点
矩阵分解	图拉普拉斯算子	考虑全局节点邻近度	大量的时间和空间开销
	节点邻近矩阵分解
深度学习	带有随机游走	有效而强大，	a）仅考虑路径中的局部上下文
		b）难以发现最优采样策略
	没有随机游走		高计算开销
边重构	最大化边重建概率		仅使用观察到的局部信息来优化
	最小化基于距离的损失	相对有效的的训练	例如边（一跳的邻居）
	最小化基于边距的排名损失		或者排序节点对
图核	基于graphlet	有效，只计算所需的原子子结构	a）子结构不是独立的
	基于子树模式		b）嵌入维度指数性增长
	基于随机游走
生成模型	在潜在的空间中嵌入图	可解释的嵌入	a）难以证明分布的选择
	将潜在语义合并到图嵌入中	自然地利用多个信息源	b）需要大量训练数据

基于矩阵分解的图嵌入，基于全局成对相似性的统计量学习表示。 因此，它可以胜过某些任务中基于深度学习的图嵌入（涉及随机游走），因为后者依赖于单独的局部上下文窗口 [147,148]。 然而，邻近度矩阵构造或矩阵的特征分解时间和空间开销大[149]，使得矩阵分解效率低且对于大图不可扩展。

深度学习（DL）已经在不同的图嵌入方法中显示出有希望的结果。 我们认为DL适合于图嵌入，因为它能够自动识别复杂图结构中的有用表示。 例如，具有随机游走的DL（例如，DeepWalk [17]，node2vec [28]，metapath2vec [46]）可以通过图上的采样路径自动利用邻域结构。 没有随机游走的DL可以模拟同构图中可变大小的子图结构（例如，GCN [72]，struc2vec [145]，GraphSAGE [150]），或者异构图中类型灵活的节点之间的丰富交互（例如，HNE [33]，TransE [91]，ProxEmbed [44]），变为有用的表示。 另一方面，DL也有其局限性。 对于具有随机游走的DL，它通常观测同一路径中的节点的局部邻居，从而忽略全局结构信息。 此外，很难找到“最优采样策略”，因为嵌入和路径采样不是在统一框架中联合优化的。 对于没有随机游走的DL，计算成本通常很高。 传统的深度学习架构假设输入数据在1D或2D网格上，来利用GPU [117]。 然而，图没有这样的网格结构，因此需要不同的解决方案来提高效率[117]。

基于边重建的图嵌入，基于观察到的边或排序三元组来优化目标函数。 与前两类图嵌入相比，它更有效。 然而，使用直接观察到的局部信息来训练这一系列方法，因此所获得的嵌入缺乏对全局图结构的认识。

基于图核的图嵌入将图转换为单个向量，以便于图级别的分析任务，例如图分类。 它比其他类别的技术更有效，因为它只需要在图中枚举所需的原子子结构。 然而，这种“基于结构袋”的方法有两个局限[93]。 首先，子结构不是独立的。 例如，大小为k+1的 graphlet 可以从大小为k graphlet 的派生，通过添加新节点和一些边。 这意味着图表示中存在冗余信息。 其次，当子结构的大小增加时，嵌入维度通常呈指数增长，导致嵌入中的稀疏问题。

基于生成模型的图嵌入可以自然地在统一模型中利用来自不同源（例如，图结构，节点属性）的信息。 直接将图嵌入到潜在语义空间中，会生成可以使用语义解释的嵌入。 但是使用某些分布对观察进行建模的假设很难证明是正确的。 此外，生成方法需要大量的训练数据来估计适合数据的适当模型。 因此，它可能不适用于小图或少量图。