【论文阅读笔记 KDD2021】《Relational Message Passing for Knowledge Graph Completion》

论文链接：https://arxiv.org/pdf/2002.06757.pdf
代码和数据集：https://github.com/hwwang55/PathCon

ABSTRACT

知识图补全旨在预测知识图中实体之间缺失的关系。在本文中，我们提出了一种用于知识图补全的关系消息传递方法。与现有的基于嵌入的方法不同，关系消息传递只考虑知识图中没有实体 id 的边特征(即关系类型) ，并在边之间迭代传递关系消息以聚合邻域信息。

具体来说，在关系消息传递框架下，为给定的实体对建模了两种邻域拓扑:
(1)关系上下文，它捕获了邻近给定实体对的边的关系类型;
(2)关系路径，它刻画了给定的两个实体在知识图中的相对位置。

将两个消息传递模块组合在一起进行关系预测。在知识图基准上的实验结果以及我们新提出的数据集表明，我们的方法路径性能大大优于现有的知识图完成方法。路径同样适用于在训练阶段不能看到实体的归纳设置。

关键词：知识图完成；消息传递；图神经网络

1 INTRODUCTION

知识图（KG）存储现实世界实体和事实的结构化信息。知识图谱通常由三元组组成。每个三元组 (h, r, t) 表示头部实体 h 通过关系类型 r 与尾部实体 t 相关。 尽管如此，KG 通常是不完整且有噪声的。 为了解决这个问题，研究人员提出了许多 KG 补全方法来预测 KG 中缺失的链接/关系。

一般来说，关系类型不是均匀分布在KG上，而是在空间上相互关联。例如，KG中“graduated from”的相邻关系更可能是“person.birthplace”和“university.location”，而不是“movie.language”。因此，对于给定的实体对（h，t），在推断h和t之间的关系类型时，表征h和t的相邻链接的关系类型将提供有价值的信息。

受最近成功的图形神经网络的启发，我们建议使用消息传递来捕获给定实体对的邻域结构。然而，传统的消息传递方法通常假设消息与节点关联，并且消息从节点迭代地传递到节点，这不适用于边缘特征（关系类型）更重要的KG。

关系消息传递。
为了解决上述限制，我们提出了用于知识图谱完成的关系消息传递。 与传统的基于节点的消息传递不同，关系消息传递只考虑边特征（关系类型），将边的消息直接传递到其相邻边。 请注意，由于关系消息传递仅对关系而不是实体进行建模，因此与现有的知识图嵌入方法相比，它带来了三个额外的好处：

1.它是归纳的，因为它可以处理在推理阶段未出现在训练数据中的实体；
2.存储效率高，因为它不计算实体的嵌入；
3.它是可解释的，因为它能够通过对关系类型之间的相关强度进行建模来为预测结果提供可解释性。

然而，关系消息传递的一个潜在问题是其计算复杂度明显高于基于节点的消息传递（定理 2）。 为了解决这个问题，我们提出了交替的关系消息传递，它在 KG 上交替传递节点和边之间的关系消息。 我们证明了交替消息传递方案极大地提高了时间效率，并实现了与传统的基于节点的消息传递相同的计算复杂度（定理 1 和 3）。

关系上下文和关系路径
关系上下文和关系路径。在交替关系消息传递框架下，我们研究了给定实体对（h，t）的两种局部子图拓扑（参见图1的示例）：

1.关系上下文。捕获KG中给定实体的相邻关系非常重要，因为相邻关系为我们提供了关于给定实体的性质或“类型”的有价值的信息（图1 a）。KG中的许多实体不是类型化的，或者是非常松散的类型化，因此了解KG中的实体及其上下文很有价值。本文设计了一种多层关系消息传递方案，用于从 (h, t) 的多跳相邻边聚合信息。

2.关系路径。注意，仅建模关系上下文无法识别 (h, t) 的相对位置。捕获 (h, t) 之间的关系路径集也很重要（图1b）。在这里，两个实体之间不同的连接路径揭示了它们之间关系的本质并有助于预测。因此，我们计算KG中连接h和t的所有关系路径，并沿这些路径传递关系消息。最后，我们利用注意机制选择性地聚合不同关系路径的表示，然后将上述两个模块组合在一起进行关系预测。

(a) 考虑我们的目标是预测 Ron Weasley 或 Hedwig 是否是 Harry Potter 的宠物。 这两个实体与哈利波特有相同的关系路径（同住），但它们有不同的关系上下文：罗恩韦斯莱有 {Brother of, Lives with}，而海德薇有 {Bought, Lives with}。 捕获实体的关系上下文使我们的模型能够区分人RonWeasley 和猫头鹰Hedwig。

(b) 两个头部实体 Hermione Granger 和 Draco Malfoy 具有相同的关系上下文 {Occupation, House}，但到尾部实体 Harry Potter {(House, House), (Occupation, Occupation)} 与 {(Occupation, Occupation)}的关系路径不同,，这使我们的模型能够预测哈利波特和赫敏格兰杰与德拉科马尔福之间的友谊。

实验
我们在五个著名的KG以及我们提出的一个新KG，DDB14数据集上进行了广泛的实验。实验结果表明，我们提出的模型PathCon（关系路径和上下文的缩写）显著优于最先进的KG完成方法，例如绝对路径Hit@1在WN18RR和NELL995上，相对于最佳基线的增益分别为16.7%和6.3%。我们的研究表明了我们方法的有效性，并证明了关系语境和关系路径的重要性。我们的方法也被证明在诱导KG完成中保持了强大的性能，同时它通过识别给定预测关系的重要关系上下文和关系路径来提供高可解释性。

贡献。我们的主要贡献如下：

• 提出了用于KG完成的交替关系消息传递框架，与现有的基于嵌入的方法相比，它具有归纳性、存储效率高、可解释和计算效率高的特点。
• 在该框架下，我们研究了两种子图拓扑：关系上下文和关系路径，并证明了它们对关系预测的重要性。
• 提出了一个新的KG数据集DDB14（具有14种关系类型的疾病数据库），适用于KG相关研究。

2 PROBLEM FORMULATION

令 G = (V, E) 是知识图谱的一个实例，其中 V 是节点集，E 是边集。每条边 e 都有一个关系类型 r ∈ R。我们的目标是预测 G 中缺失的关系，即给定一个实体对 (h, t)，我们旨在预测它们之间的边关系。具体来说，我们的目标是对给定一对实体 (h, t) 的关系类型的分布进行建模：p(r|h, t)。这相当于对以下项进行建模$$p(r|h,t)\propto p(h,t|r)\cdot p(r)（1）$$根据贝叶斯定理。在式（1）中，p（r）是关系类型的先验分布，并用作模型的正则化。然后第一项可以进一步分解为$$p(h,t|r)=\frac{1}{2}(p(h|r)\cdot p(t|h,r)+p(t|r)p(h|t,r))（2）$$公式（2）为我们的模型设计提供了指导。$p(h|r)$或$p(h|t,r)$衡量给定特定关系的实体的可能性。由于我们的模型不考虑实体的身份，所以我们使用实体的局部关系子图来代替实体本身。例如：$p(C(h)|r)$和$p(C(t)|r)$，其中$C(\cdot )$表示实体的局部关系子图。这也称为h和t的关系上下文。

等式(2)中的术语$p(t|h,r)$ 或$p(h|t,r)$考虑到它们之间存在关系 r，测量如何从 h 或其他方式达到 t 的可能性。这启发我们对 KG 中 h 和 t 之间的关系路径进行建模。在下文中，我们将展示如何在我们的方法中对这两个因素进行建模，以及它们如何有助于关系预测。

3 OUR APPROACH

在本节中，我们首先介绍了关系消息传递框架，然后给出了提出的PathCon的两个模块：关系上下文消息传递和关系路径消息传递。本文中使用的符号列于表1中。

3.1 Relational Message Passing Framework

传统的基于节点的消息传递。我们首先简要回顾一下传统的基于节点的通用图消息传递方法。假设每个节点 v 都具有特征 $x_v$。然后消息传递在图上运行多个时间步长，在此期间迭代 i 中每个节点 v 的隐藏状态 $s_v^i$ 更新为 m v i = A ( { s u i } ) u ∈ N ( v ) （ 3 ） m_v^i=A(\lbrace s_u^i\rbrace)_{u∈N(v)}（3） mvi​=A({ sui​})u∈N(v)​（3）$$s_v^{i+1}=U(s_v^i,m_v^i)（4）$$其中$m_v^i$是节点v在第i轮迭代收到的消息。$N(v)$表示图中v的相邻节点集，A（·）是消息聚合函数，U（·）是节点更新函数。初始隐藏状态$s_v^0=x_v$。

上述框架虽然在一般图中很流行，并衍生了许多变体，如GCN、GraphSAGE和GIN，但在应用于知识图时面临以下挑战：
（1）与一般图不同，在大多数KG中，边有特征（关系类型），但节点没有，这使得KG基于节点的消息传递不那么自然。虽然节点特征可以设置为它们的标识（即一个ont-hot向量），但这将导致另外两个问题：
（2）节点的建模无法在推理期间管理以前没见过的节点，并且没有归纳能力。
（3） 在现实世界的KG中，实体的数量通常比关系类型的数量大得多，这需要大量内存来存储实体嵌入。

关系消息传递。为了解决上述问题，一个自然的想法是通过边而不是节点执行消息传递。 m e i = A ( { s e ′ i } e ′ ∈ N ( e ) ) （ 5 ） m_e^i=A(\lbrace s_{e'}^i\rbrace _{e'∈N(e)})（5） mei​=A({ se′i​}e′∈N(e)​)（5）$$s_e^{i+1}=U(s_e^i,m_e^i)（6）$$其中 N(e) 表示图中边 e 的一组相邻边（即与 e 至少共享一个公共端点的边），$s_e^0$ 是边 e 的初始边特征，即关系类型。 因此，方程。 (5) 和 (6) 称为关系消息传递。

关系消息传递避免了基于节点的消息传递的缺点，但是，它在传递消息时带来了计算效率的新问题。为此，我们分析了两种消息传递方案的计算复杂度（证明见附录A和附录B）：

• 定理1（基于节点的消息传递的复杂度）考虑具有n个节点和m个边的图。每次迭代中基于节点的消息传递（等式（3）和（4））的预期成本为2M+2N。
• 定理2（关系消息传递的复杂度）。考虑具有n个节点和m个边的图。在每次迭代中，相对消息传递（等式（5）和（6））的预期成本为$N\cdot Var[d]+\frac{4M^2}{N}$