【解读】（2020-AAAI）Diachronic Embedding for Temporal Knowledge Graph Completion

（2020-AAAI）Diachronic Embedding for Temporal Knowledge Graph Completion

基于历时嵌入的时序知识图谱补全

摘要

知识图(KGs)通常包含指示实体在不同时间之间关系的时间事实。由于它们的不完全性，人们提出了几种方法来根据现有的事实推断出KG的新事实——一个已知的KG完成问题。KG嵌入方法已被证明是完成KG的有效方法，但目前发展的主要是静态KG，而建立时序的KG嵌入模型是一个越来越重要的问题。在本文中，我们通过为静态模型配备一个历时的实体嵌入函数来建立新的时间上的KG完成模型，该函数提供实体在任何时间点的特征。这与只提供静态实体特征的现有临时KG嵌入方法形成了对比。所提出的嵌入函数是与模型无关的，并且可以与任何静态模型相结合。我们证明，将它与最近的一个静态KG嵌入模型SimplE相结合，可以得到一个完全表达的时态KG完成模型。我们的实验表明，与现有的基线相比，我们的建议具有优越性。

1 介绍

知识图(KGs)是有向图，其中节点表示实体，(标记)边表示实体之间的关系类型。KG中的每条边对应一个事实，可以表示为一个元组，如(Mary, like,God Father)，其中Mary和God Father分别被称为头实体和尾实体，like是一个关系。一个被称为KG补全的重要问题是从KG中基于现有事实推断出新的事实。对于静态KGs，这个问题已经进行了广泛的研究(摘要见[46,62,44])。KG嵌入方法在几个基准上为KG完成提供了最先进的结果。这些方法将每个实体和每个关系类型映射到一个隐藏的表示，并通过对这些表示应用分数函数来为每个元组计算分数。不同的方法在如何将实体和关系类型映射到隐藏表示以及它们的得分函数上有所不同。

为了捕获事实的时间方面，KG边缘通常与时间戳或时间间隔相关联;例如,(喜欢玛丽,上帝的父亲,1995)。然而，KG嵌入方法大多是为静态KG设计的，忽略了时间方面。最近的研究表明，通过扩展这些方法来利用时间，性能有了实质性的提高[21,10,41,16]。提出的扩展主要是通过计算每个时间戳的隐藏表示，并扩展分数函数来利用时间戳表示以及实体和关系表示。

在本文中，我们基于一个直观的假设建立了时间KG完成(TKGC)模型:为了提供一个分数，例如(Mary,Liked,God Father,1995)，需要知道Mary和God Father在1995年的特征;根据他们当前的特点来打分可能会误导人。这是因为1995年玛丽的性格和对上帝父亲的感情可能与现在大不相同。因此，学习每个实体的静态表示——如现有方法所做的那样——可能是次优的，因为这样的表示只捕获当前时间的实体特征，或在时间期间的实体特征聚合。

为了在任何给定的时间提供实体特性，我们将实体嵌入定义为一个函数，该函数以一个实体和一个时间戳作为输入，并为当时的实体提供一个隐藏的表示。受历时词嵌入的启发，我们称之为历时词嵌入(DE)。DE与模型无关:通过利用DE，任何静态KG嵌入模型都可以潜在地扩展到TKGC。我们证明了将DE与SimplE[25]相结合会产生一个完全表达TKGC的模型。据我们所知，这是第一个证明了充分表达性的TKGC模型。我们在ICEWS[5]和GDELT[38]数据集的子集上展示了我们模型的优点。

2 背景和符号

符号

小写字母表示标量，黑体小写表示向量，黑体大写表示矩阵。

$z_1\in {\mathbb{R}}^{d_1};z_2\in {\mathbb{R}}^{d_2},\left[z_1;z_2\right]\in {\mathbb{R}}^{d_1+d_2}$：表示两个向量的串联。

$ z_{1} \otimes z_{2}$表示 $z\in {\mathbb{R}}^{d_1{d}_2}$，$z\left[(n-1)\ast d_2+m\right]={\mathbf{z}}_1[n]\ast z_2[m]$

时序知识图谱（补全）

$\mathcal{V}$：一组有限的实体集合，$\mathcal{R}$：一组有限的关系集合，$\mathcal{T}$：一组有限的时间戳

$\mathcal{W}\subset \mathcal{V}\times \mathcal{R}\times \mathcal{V}\times \mathcal{T}$：表示所有时态三元组的集合

关系属性

知识图谱嵌入

定义1：

实体的嵌入定义：实体嵌入函数

关系的嵌入定义：关系嵌入函数

得分函数：接收实体嵌入函数与关系嵌入函数作为输入，输出三元组分数

3 现有方法

在本节中，我们将描述静态和临时KG补全的现有方法，这些方法将在本文的其余部分中使用。有关时间KG补全方法的更多细节，我们请读者参考最近的一项调查[27]。我们用φ(.)表示元组的分数。

TransE (static)：

DistMult (static)

Tucker (static)

RESCAL (static)

Canonical Polyadic (CP) (static)

SimplE (static)

TTransE (temporal)

HyTE (temporal)

ConT (temporal)

TA-DistMult (temporal)

介绍了常用知识图谱补全的方法，以及对应的得分函数

4 历时嵌入（Diachronic Embedding）

根据定义1，实体嵌入函数将实体作为输入，并提供隐藏表示作为输出。我们提出了一种替代的实体嵌入函数，该函数除了实体外，还需要时间作为输入。受历时词嵌入的启发，我们称这种嵌入函数为历时实体嵌入。下面是历时实体嵌入的正式定义。

定义2：

将实体和时间戳作为输入得到实体嵌入。这样就可以和

4.2 领域知识

对于几个静态KG嵌入模型，已经展示了某些类型的领域知识(如果存在的话)如何通过参数共享(也称为捆绑)结合到嵌入中，以及它如何帮助提高模型性能(例如，参见[25，55，42，15])。当这些静态模型通过我们的历时嵌入扩展到时态KGs时，它们的领域知识可以被移植到时态版本。作为概念证明，我们展示了如何将领域知识整合到SimplE中，并移植到DE-SimplE中。我们选择SimplE作为我们的概念证明，因为几种类型的领域知识都可以包含在其中。

5 实验和结果

具体查看论文

6 相关工作

基本没什么意义

7 结论

时间知识图的补全是一个重要的问题，近年来一直是研究的热点。我们开发了一个历时的嵌入函数来进行时态的KG不补全，它提供了一个在任何时间点实体的隐藏表示。我们的嵌入是通用的，可以与任何得分函数结合。我们证明了将我们的历时嵌入与SimplE结果结合在一个完全表达模型中——第一个存在这种结果的时态KG嵌入模型。在几个基准测试中，我们展示了与现有工作相比，我们的模型具有更好的性能。

未来的工作包括设计除公式1中提出的函数外的函数，全面研究不同类型的KGs喜欢哪些函数，并使用我们提出的嵌入进行历时词嵌入。