Learning Knowledge Graph Embedding WithHeterogeneous Relation Attention Networks

摘要

知识图(KG)嵌入的目的是研究知识图的嵌入表示，以保持知识图的固有结构，图神经网络作为一种有效的图表示技术，在学习知识图嵌入方面表现优异。然而，知识分子具有内在的异质性，它包含了各种类型的实体和关系。如何处理复杂的图数据并同时聚合多种类型的语义信息是一个关键问题。本文提出了一种基于注意机制的异构gnn框架。具体来说，首先在每个关系路径下聚合实体的邻居特征。然后通过关系特征了解不同关系路径的重要性。最后，将每个基于关系路径的特征与学习到的权重值进行聚合以生成嵌入表示。因此，该方法不仅可以从不同的语义方面对实体特征进行聚合，还可以为它们分配适当的权重。该方法可以捕获各种类型的语义信息，并有选择地聚合信息特征。与几种最先进的方法相比，在三个实际kg上的实验结果显示出优越的性能。

I. INTRODUCTION

知识图(KNOWLEDGE graphs, KGs)有利于在各种智能应用中使用，例如推荐系统[1]、[2]、信息检索[3]、[4]和问题回答[5]、[6]。为了促进这些知识驱动的应用，在过去的几十年里已经开发了许多类型的知识库[7]-[9]。KGs是存储人类知识结构信息的多关系图。如图1(a)所示，kg通常由节点和边组成，这些节点和边代表了许多具体事实。节点是各种实体，边表示相邻实体之间的关系。这些元素以(主体实体、关系、客体实体)三元组的形式组织起来，例如(C. Ronaldo、play_for、Juventus)。

虽然kg已经包含了大量的实体、关系和三元组，但它们仍然面临着完整性、偏性和新增知识等问题[10]。为了克服这些问题，研究人员将注意力转向了链接预测，旨在预测KG中缺失的事实，现有的链接预测方法被认为是KG嵌入(KG embedding, KGE)[11]，[12]。KGE学习关系和实体的嵌入表达，以保持KGs的固有结构，然后利用这些嵌入来促进后续的链接预测任务。

然而，以往的KGE方法很少具有结构强制，并将连通性结构纳入嵌入空间。相比之下，图神经网络(GNN)[13]可以有效地聚合每个节点的局部信息。一方面，作为图数据的表示学习工具，GNN可以利用与节点相关的邻居特征。另一方面，通过施加相同的聚合函数，可以提高卷积计算的学习效率。然而，kg通常具有多种类型的实体和关系，这些实体和关系被广泛称为异构信息网络[14]。我们可以观察到实体在每个基于关系的三元组下表现出不同的语义特征。由于异构图的复杂性，传统的GNN方法不能直接应用于KGs，因此在设计有效的KGs GNN架构时需要考虑以下问题:

A. Heterogeneity of KGs

知识图谱具有内在的异质性，即不同类型的实体具有不同的属性，其特征可能属于不同的嵌入空间。仍以图1(a)为例，玩家的节点通过不同的关系涉及职业、国家、俱乐部、队友等不同的实体属性。同时，国家的节点可能涉及到球员和俱乐部。因此，如何处理如此复杂的结构图数据并同时保留多个特征信息是一个迫切需要解决的问题。

B. Importance of Relation

KGs的异质性通常通过关系路径(relationship -path)来体现[15]，它表现出复杂的语义特征，涉及不同的三元组。此外，它还可以通过不同的关系路径聚合不同的语义特征。

如何融合这些语义特征，选择最有意义的关系路径是一个关键问题。例如，如图1(b)所示，玩家可以通过(player, nationality_of, country)连接到国家，也可以通过(player, play_for, club)连接到俱乐部。但是可以看出，nationality_of或play_for的关系路径通常起着不同的重要作用。平等对待不同的关系路径是不现实的，这将削弱一些重要的关系路径聚合的语义特征。因此，我们应该了解每个关系路径的重要性，并为它们分配适当的权重。

C. Influence of Aggregator

实体通过聚合器功能融合各关系路径的相邻特征，是GNN体系结构的关键组成部分。与欧几里得空间上的深度学习(如图像、句子、视频)不同，图结构数据通常没有规则的序列。因此，聚合器函数应该在一组无序的特征向量上运行。同时，在神经网络训练过程中，需要具有可训练性并保持较高的计算效率。有许多有效的聚合器函数，我们需要研究由不同的聚合器函数组成的GNN架构对性能的影响。

在上述分析的基础上，我们提出了一种新的异构关系注意网络学习框架——HRAN。该框架通过注意机制考虑关系的重要性，并考察了三种不同的聚合器功能。特别是，为了处理各种类型的实体，它首先融合了每个基于关系路径的实体的特征，这些特征可以表示一种类型的语义信息。然后通过不同的关系路径聚合具有不同语义信息的特征到实体。此外，利用注意机制获得不同关系路径的权重值。基于学习到的每个关系路径的注意值，我们的方法可以在层次结构中聚合适当的相邻特征组合。因此，聚合实体特征可以有效地解决异构知识库中语义信息丰富、结构复杂的问题。

本文的主要贡献如下。

• 1)提出了一种新的端到端异构关系注意网络(HRAN)框架。具体来说，HRAN通过关系路径融合了每种类型的特定于语义的信息。它可以分层地聚合相邻特征，同时保留不同的特征信息。我们的工作使GNN能够直接应用于异构KGs，并进一步促进后续的链路预测任务。
• 2)利用注意机制学习各关系路径的重要性。基于学习到的注意值，该方法可以选择性地聚集信息特征并抑制无用特征。此外，HRAN采用了三种有效的聚合函数来减少方差和计算复杂度，可以应用于大规模的异构图。
• 3)进行了大量的实验来评估所提出方法的性能。通过与现有方法的比较，表明了HRAN的优越性。更重要的是，通过分析注意机制的影响，实验结果证明了HRAN的潜在优势。

本文的其余部分组织如下:第二节对相关工作进行回顾和分析。正式定义了研究问题，第三节介绍了HRAN的细节。第四节介绍了所提出方法的实验设置和结果。最后，第五节讨论了结论和对未来工作的建议。

图2所示。拟建的HRAN架构图示。(a)首先，根据每个基于关系路径的邻接矩阵对基于关系路径的实体邻居进行聚合。(b)然后，用不同的聚合器函数对每个关系路径学习到的权重的聚合信息进行聚合。(c)最后利用得分函数对三元组是否正确进行概率预测。(a)实体级汇总。(b)关系级汇总。(c)三重预测。