[论文翻译]Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs

【图结构】Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs（TACT）

0 总结

名称	项目
题目	Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs
中文	知识图中归纳链接预测关系的拓扑感知关联
来源	AAAI（2021）
作者	Jiajun Chen, Huarui He, Feng Wu, Jie Wang
代码	https://github.com/MIRALab-USTC/KG-TACT
摘要	Inductive link prediction—where entities during training and inference stages can be different—has been shown to be promising for completing continuously evolvingknowledge graphs. Existing models of inductive reasoning mainly focus on predicting missing links by learning logical rules. However, many existing approaches do not take into account semantic correlations between relations, which are commonly seen in real-world knowledge graphs. To address this challenge, we propose a novel inductive reasoning approach, namely TACT, which can effectively exploit Topology-Aware CorrelaTions between relations in an entity-independent manner. TACT is inspired by the observation that the semantic correlation between two relations is highly correlated to their topological structure in knowledge graphs. Specifically, we categorize all relation pairs into several topological patterns, and then propose a Relational Correlation Network (RCN) to learn the importance of the different patterns for inductive link prediction.Experiments demonstrate that TACT can effectively model semantic correlations between relations, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the inductive link prediction task.
解决问题	归纳链接预测（在训练和推理阶段的实体可以不同），已被证明是有希望完备不断发展的知识图。现有的归纳推理模型主要是通过学习逻辑规则来预测缺失的关系链接。然而，许多现有的方法没有考虑到关系之间的语义关联，这在现实世界的知识图中很常见。为了应对这一挑战，我们提出了一种新的归纳推理方法，即TACT，它可以用一种独立实体的方式有效地利用关系之间的拓扑感知关联。TACT的灵感来自于两种关系之间的语义关联与它们在知识图中的拓扑结构高度相关的观察。具体来说，我们将所有的关系对分类为若干拓扑模式，然后提出一个关系相关网络（RCN）来学习不同模式对归纳链接预测的重要性。实验表明，TACT可以有效地建模关系之间的语义关联，并且在归纳链路预测任务的基准数据集上显著优于现有的最新方法。

1 背景

        ~~~~~~~        知识图以事实三元组的形式存储大量结构化的人类知识，在自然语言处理、推荐系统和问答等许多领域得到了广泛应用。
        ~~~~~~~        对于现实世界的知识图，新的实体不断涌现，如电子商务知识图中的新用户、新产品和生物医学知识图中的新分子。此外，他们通常面临着不完全性问题，如一些环节缺失。为了应对这一挑战，研究者越来越重视归纳链接预测任务。归纳链路预测的目的是预测链路知识图中的实体之间的丢失链路，其中训练和推理阶段的实体可以不同。尽管归纳链路预测在实际应用中具有重要意义，但现有的许多工作主要集中在演绎链路预测上，无法对以前未见过的实体进行处理。
        ~~~~~~~        现有的归纳推理模型主要是通过学习知识图谱中的逻辑规则来预测缺失链接。基于规则学习的方法（Yang、Yang和Cohen，2017；Sadeghian et al.2019）根据观察到的关系共现模式，显式挖掘逻辑规则，这些规则本质上是归纳的，因为学习的规则是实体独立的，可以自然地推广到新的实体。最近，GraIL（Teru、Denis和Hamilton2020）以与实体独立的方式通过对子图结构的推理隐式地学习逻辑规则。然而，许多现有的归纳推理方法在链接预测时没有考虑相邻的关系三元组。
        ~~~~~~~        为了利用相邻的关系式三元组，我们利用了知识图中常见的关系之间的语义关联。

【例如】对于Freebase中的关系:
“/people/person/nationality”和“/people/ethnicity/languages_spoken”具有很强的相关性 (因为一个人的母语与一个人的国籍相关)
而“/people/person/nationality”和“/film/film/country”的相关性较弱。

此外，知识图中任意两个关系之间的拓扑模式(它们之间的连接方式)可能不同，从而影响相关模式。

对于图1中的关系对“fatherof”和“hasgender”:
它们以 尾对尾 的方式由e1连接，以 头对尾 的方式由e2连接，这是不同的拓扑模式。

        ~~~~~~~        本文提出了一种新的归纳推理方法，即TACT，它能有效地利用已知知识图谱中关系之间的拓扑关系。具体而言，TACT从两个方面对语义相关关系进行建模：相关模式（correlation patterns） 和 相关系数（correlation coefficients）。

1. 我们根据它们的拓扑结构不同把所有的关系对分成几个类别相关模式。
2. 然后，我们将原始知识图转换为关系相关图（Relational Correlation Graph,RCG），其中节点表示关系，边表示原始知识图中任意两个关系之间的相关模式。
3. 在RCG的基础上，我们提出了一种关系相关网络（RCN）来学习不同模式的相关系数，用于归纳链路预测。

        ~~~~~~~        在归纳环境下，TACT能有效地融合相邻关系的信息，从而提高链路预测的性能。实验表明，TACT能够有效地建模关系之间的语义相关性，并且在基准数据集上显著优于现有的归纳链接预测方法。

【符号】

符号	含义
$\mathcal{E}$	实体集
$\mathcal{R}$	关系集
$u\in \mathcal{E}$	头实体
$v\in \mathcal{E}$	尾实体
$r\in \mathcal{R}$	关系
G = { ( u , r , v ) ∣ u , v ∈ E , r ∈ R } \mathcal{G} = \{ ( \mathcal{u} , \mathcal{r},\mathcal{v})\mid\mathcal{u},\mathcal{v} \in \mathcal{E}, \mathcal{r} \in \mathcal{R} \} G={ (u,r,v)∣u,v∈E,r∈R}	知识图
${e\text{e}e}_u$	头实体嵌入
$r\text{r}r$	关系嵌入
${e\text{e}e}_v$	尾实体嵌入
$d$	嵌入的维数
$[e\text{e}e{]}_i$	向量e第i个输入
$[a\circ b\text{a∘b}a\circ b{]}_i=[a\text{a}a{]}_i\cdot [b\text{b}b{]}_i$	哈达玛积
$\oplus$	向量的串联

2 相关工作

【基于规则学习的方法】
        ~~~~~~~        基于规则学习的方法基于观察到的关系共现模式学习逻辑规则，由于学习的规则独立于实体，因此具有内在的归纳性。从数据中挖掘规则是归纳逻辑编程的中心任务（Muggleton 1992）。传统方法面临着扩展到大型数据集或优化的挑战。最近，Neural LP（Yang，Yang，and Co hen 2017）提出了一种端到端可微框架来学习逻辑规则的结构和参数。DRUM（Sadeghian等人，2019年）通过挖掘更正确的逻辑规则，进一步改进了神经网络。然而，基于规则学习的方法主要集中在horn规则的挖掘上，这限制了它们对知识图中更复杂的语义关系建模的能力。

【基于嵌入的方法】
        ~~~~~~~        知识图嵌入已被证明是知识图推理的一个有前途的方向（Sun et al.2019；张等，2020a；张、蔡和王 2020年）。一些基于嵌入的方法可以为没见过的实体生成嵌入。Hamaguchi et al.（2017）和Wang et al.（2019）学习通过用图神经网络聚合邻域嵌入来生成未见过实体的实体嵌入层。然而，他们需要新的实体被已知的实体包围（用已知的实体来推未知实体），所以不能完全应用到新的图中。 GraIL（Teru，Denis，andHamilton，2020）开发了一个基于图神经网络的链接预测框架，该框架可以对局部子图结构进行推理，从而以独立于实体的方式进行归纳链接预测。然而，GraIL无法对知识图中常见的关系之间的语义关联进行建模。

【基于GNNs的链路预测】
        ~~~~~~~        近年来，图神经网络（Kipf和Welling，2017年；Velickovic et al.2018）在链接预测方面显示出巨大的潜力，因为知识图自然具有图结构。Schlichtkrull等人（2018）提出了一种关系图神经网络，用于在实体上应用聚合时考虑连接关系。最近，Zhang等人（2020b）提出了一种具有层次注意的关系图神经网络，以有效地利用知识图中实体的邻域信息。然而，这些方法很难预测不可见实体之间的缺失链接，因为它们依赖于训练过程中学习的实体嵌入来进行链接预测。

【关系之间的相关性建模】
        ~~~~~~~        现有的几种知识图嵌入方法都考虑了关系之间相关性的建模问题。Do、Tran和Venkatesh（2018）将特定于关系的投影空间分解为少量的跨越基，这些跨越基由所有关系共享。Zhu et al.（2018）提出通过将嵌入关系矩阵分解为两个低维矩阵的乘积来学习嵌入关系矩阵。与上述工作不同，我们的工作：

1. 创新性地将所有关系对分类为七种拓扑模式，并提出一种新的关系网络来建模拓扑关系。
2. 考虑了归纳链接预测任务，而上述知识图嵌入方法处理起来比较困难。
3. 在基准数据集上优于现有的最先进的归纳推理方法。

3 具体方法模型介绍

        ~~~~~~~        TACT的目标是以独立实体的方式对给定的三元组$(u,r_t,v)$，其中$r_t$是$u$和$v$之间的目标关系。
        ~~~~~~~        具体来说，TACT包括两个模块：关系相关模块和图形结构模块。

        ~~~~~~~         1. 关系关联模块，基于知识图中任意两个关系之间的语义关联与其拓扑结构高度相关的观察。
        ~~~~~~~         2. 此外，基于GraIL的思想设计了一个图形结构模块来利用图形结构信息。

        ~~~~~~~        TACT将两个模块组织在一个统一的框架中进行归纳链路预测。图2给出了TACT的概述。

【关系之间的相关性建模】
        ~~~~~~~        为了建立关系之间的语义关联模型，我们从两个方面来考虑关联：

1. 关联模式：在知识图中，任何两个关系之间的关联都与其拓扑结构高度相关。
2. 相关系数：我们用相关系数来表示两种关系之间的语义关联程度

• 关系相关图(Relational Correlation Graph,RCG)
          ~~~~~~~        为了对任意两个关系之间的相关模式进行建模，我们将所有关系对分类为七种拓扑模式。如图3所示，拓扑模式为“头到尾”、“尾到尾”、“头到头”、“尾到头”、“平行”、“循环”和“未连接”（“head-to-tail”, “tail-to-tail”, “head-to-head”, “tail-to-head”, “parallel”, “loop”and “not connected"）。

  

          ~~~~~~~         我们将对应的相关模式分别定义为“H-T”、“T-T”、“H-H”、“T-H”、“PARA”、“LOOP”和“NC”

  $(r_1,H-T,r_2)$ 表示r1和r2之间的相关性是r2的“H-T”模式，这表明r1和r2是head-to-tail方式相连的；
  $(r1,PARA,r2)$表示这两个关系是由相同的头实体和尾实体连接的;
  $(r1,LOOP,r2)$表示两个关系在局部图中形成一个循环。

          ~~~~~~~        证明了在补充关系中，任意两个关系之间的拓扑模式数最多为7个。
          ~~~~~~~        根据不同关联模式的定义，将原始知识图转化为关系关联图（RCG），其中节点表示关系，边表示原始知识图中任意两个关系之间的关联模式（7种之一）。图3显示了任意两个关系和相应RCG之间的拓扑模式。注意对于两个关系不连通的拓扑模式，其对应的RCG由两个孤立的节点组成。

• 关系相关网络(Relational Correlation Network,RCN)
          ~~~~~~~        基于RCG，我们提出了一种关系相关网络（RCN）来模拟不同相关模式在感应链接预测中的重要性。RCN由两部分组成：相关模式部分和相关系数部分。
          ~~~~~~~         - 相关模式部分：考虑了任意两种关系之间不同拓扑结构的影响。
          ~~~~~~~         - 相关系数部分：旨在学习不同相关性的程度。

          ~~~~~~~        对于一条有关系的边$r_t$，我们可以用拓扑模式“H-T”、“T-T”、“H-H”、“T-H”、“PARA”和“LOOP”将它在RCG中的所有邻接边分成六组。注意，不考虑拓扑模式“NC”，因为它意味着边（关系）在知识图中没有连接。对于这六个组，我们使用六种线性变换来学习对应于拓扑模式的不同语义关联。为了区分关系$r_t$的不同关联度，我们进一步使用注意力网络来学习所有关联的相关系数。
          ~~~~~~~        具体地说，我们将关系$r_t$的所有相关集合起来，得到嵌入在局部图中的邻域，用${r\text{r}r}^{}$