GNN in KG(七) Topology-Aware Correlations Between Relations for Inductive Link Prediction in KG

本文发表于AAAI2021，作者信息如下：

本文认为，许多现有的方法没有考虑到关系之间的语义相关性，这在现实世界的知识图中很常见。因此，本文提出了Topology-Aware CorrelaTions（TACT），将关系分为几种拓扑模式，然后提出一种关系网络(RCN)来学习不同模式对inductive连接预测的重要性。
举个例子，在Freebase中，“/people/person/nationality” 以及 “/people/ethnicity/languages_spoken”这两个关系通常具有关联关系，因为一个人的国籍通常能够影响他说什么语言。
为了捕获这种基于关系的语义特征，本文把知识图谱转化为Relational Correlation Graph (RCG)，也就是关系是节点，关系的拓扑类别是边，然后提出了基于RCG的Relational Correlation Network (RCN)。

Methods

总体来说，模型分为两部分：RCN与R-GCN。前者是基于RCG的，后者则基于知识图谱本身。首先，本文说明如何将构建RCN。

Modeling correlations between relations

为了对关系之间的语义关联进行建模，我们从两个方面考虑了这些关联：

1. Correlation patterns：在知识图谱中，任意两个关系之间的相关性都与它们的拓扑结构高度相关。
2. Correlation coefficients：使用相关系数来表示任意两个关系之间的语义相关度，也就是赋予边权值。

本文提出了如下七种拓扑结构：“head-to-tail”, “tailto-tail”, “head-to-head”, “tail-to-head”, “parallel”, “loop” and “not connected”，化成图就是：

在具体的RCN构建时，只考虑除了NC之外的前六种关系。和GCN一样，RCN的聚合也是对关系进行相应的邻域聚合：

其中，$W^p\in R^{d\times d}$，$R\in R^{|R|\times d}$为关系节点的嵌入，$R_{[i,:]}=r_i$代表其中一个关系的表示，也就是第$i$行。${\Lambda }_t^p\in R^{1\times |R|}$表示权重参数，是不同关系的相关程度的度量，$N_t^p\in R^{1\times |R|}$是指示函数，如果$r_i$和$r_t$以$p$级拓扑模式连接那么就是1，否则就是0。并且，要严格限制$[{\Lambda }_t^p{]}_i>0$，并且其每个位置的值的和为1。那么解读一下上述的公式，就是先对关系节点的特征做线性变换（和GCN一样），然后前边乘的$()$中的项可以理解为邻接矩阵的变种，$N_t^p$为了筛选出对应的$p$。然后，每一种拓扑关系都有相应的更新方式，最终把所有的关系下的表示做平均。然后，更新节点的操作被定义为简单的拼接以及线性变换：

$W^p\in R^{2d\times d}$。

Modeling graph structures

在建模图结构时使用了enclosing subgraph的概念。enclosing subgraph定义如下：

翻译一下，就是取头尾节点的k-hop邻域的交集，然后修剪掉孤立的节点以及与u或者v距离大于k的节点，并用这个图代表三元组。有了enclosing subgraph，就可以根据节点到$uv$的距离定义其中的其他节点$(d(i,u),d(i,v))$，其中$d(i,u)$表示节点$i$到$u$的最短距离，距离路径不计算任何通过$v$的路径。这将捕获每个节点相对于目标节点的拓扑位置。然后，将这个距离转化为one-hot向量：

这样节点的表示就可以得到了。那么，enclosing subgraph中任意一个节点的表示被定义为：

这是基于此节点的邻域聚合，并且依旧要区分不同的关系类型。
之后，将所有节点的表示做平均即可得到子图的表示：

那么最终，基于知识图谱的三元组的表示为子图与头尾实体的拼接：

The framework of TACT

Scoring network。

Loss function。就是普通的链接预测损失：

Experiments and Analysis

数据集：（v1-4表示不同的版本）

准确率：

TACL-base只与关系图的输出有关，不包含对enclosing subgraph的表示：

消融试验：
w/o RA ：不使用关系节点的邻域聚合。
w/o RC ：不考虑关系的拓扑结构之间的相关性的情况下进行建模（不添加注意力）：


一些关系及其前3个相关关系。这些关系取自WN18RR和NELL-995。我们用CP来表示相关模式，用CC来表示相关系数。

在关系数量更更少且节点数更多的YAGO3上验证模型的性能：

试验的时间：