【论文笔记】对知识图谱补全方法的现实评价：实验研究

来源：SIGMOD 20
链接：https://arxiv.org/pdf/2003.08001

介绍

使用知识图谱嵌入（KGE）方法进行链路预测的算法，绝大多数都使用FB15k和WN18来进行模型的评估。然而在这两个数据集以及其他数据集中，绝大多数的三元组都属于反向关系和重复关系，因此存在着大量的数据冗余，这种问题可以称为预测结果存在大量的data leakage。这是一种链路预测训练中的一种类似过拟合的问题，在链路预测中训练所得的一些特征在实际使用中并不存在，导致实际预测正确率降低，从而出现了一些颠倒因果的链路预测结果。这其中也有笛卡尔积关系：所有由笛卡尔积表示的头实体和尾实体都是客观事实。事实上，在上述场景下直接使用规则推理进行链接预测，能比使用复杂的嵌入模型达到更好的精度。但上述都不是主要问题，这些模型有一个根本性的缺陷就是：在链路预测的场景中会给出一个现实中并不存在的数据。这篇论文第一次采用了移除不真实三元组的方法，对嵌入模型预测的真实有效性进行了系统研究。文中的实验表明，这些嵌入模型方法相对于过去使用的其他链路预测方法，更加的不准确。因此，作者也认为我们需要研究更加有效的嵌入模型进行链路预测。

相关知识

直接构建出的知识图谱很大，但是往往其包含的信息是不完整的，但是由于其大小，很难通过手动的方法完成对其的补全，因此，也就产生了很多自动补全的算法。这些算法通常分为两类，第一类就是基于潜在特征模型的知识图谱嵌入方法，例如，TransE、RESCAL等等；第二种是基于可观察的特征模型的方法，例如，规则挖掘、路径排序算法等等。这篇文章主要围绕着知识图谱嵌入方法、少量的知识图谱规则挖掘方法进行论证和实验，因此，需要了解一定的相关知识。
Toutanova和Chen指出，FB15k包含许多反向三元组，即它包括许多对(h，r，t)和(t，r-1，h)，其中r和r-1是逆关系，于是他构建了FB15k-237，其中只保留了每对互逆关系中的一个。与之类似的，Dettmers等人也使用了同样的方法对WN18进行处理创造了WN18RR数据集。现在的研究者已经开始使用FB15k-237和WN18RR来评估模型，并发现现有的模型在这两个被处理过后的数据集中性能有显著的退化。

逆关系的影响

这篇文章研究了FB15k和WN18中逆关系对预测结果的影响。总结如下：

• A1) 如果某三元组可得其逆关系，那么链路预测就会变得容易很多；
• A2) 对于逆关系的三元组，一个简单直接的方法会比复杂的机器学习模型更有效。

文章发现FB15k训练集中70%的三元组形成反向对，其测试集中该数据也为70%。对于WN18，这两个数据甚至更高，分别为92.5%和93%。这就导致了嵌入模型在学习时会学习到“两个实体之间需要具有可逆关系”的特征。
在这两个数据集上使用简单模型进行链路预测，可分别得到71.6%和96.4%的FHits@1分数。作为对比，现有嵌入模型中该指标最高的TuckER，在这两个数据集上的该指标分别为73.8%和94.6%（RotatE在FB15k数据集中的FHits@1为73.8%，TuckER在WN18数据集中的FHits@1为94.6%）。文中提出，逆关系导致我们高估了嵌入模型的准确度。

图1展示了几个具有代表性的嵌入模型使用另一种常用度量FMRR的性能比较。该结果表明：

• R1) 在除去逆关系的三元组后，所有的嵌入模型性能都有所降低；
• R2) TransE的改进算法们，在除去逆关系三元组后，性能与TransE相近，甚至更差；
• R3) 所有嵌入模型的绝对精度都很差，使得它们对现实世界的链路预测任务无效。

在FB15k和WN18中存在大量的逆关系三元组实际上呈现了这些模型的更基本缺陷：

• A3) 使用模型预测出的场景，往往在现实世界中并不存在。

在FB15k中，有大量来自Freebase的逆关系三元组根本就是人为创造的。当一个新的知识被加入到Freebase中时，将会创造一对互逆的三元组，并被表示为一种特殊的关系（reverse_property）。在WN18中，18种关系中有17种都有互逆关系或者自身就为对称关系。这种内在的逆关系，总是成对地被添加进数据集中，事实上，我们不需要去预测一个已经存在了的三元组。
因此，使用FB15k和WN18训练知识图谱补全模型是一种过拟合的形式，因为学习所得模型根本就是为了那些逆关系而优化的，而这些条件在现实中并不具有。这也就是前面提到的data leakage问题了。

其他数据冗余和笛卡尔积关系的影响

有很多值得我们去预测的自然的逆关系三元组（相对于人造的）：可能由于收集数据方法的原因，两个语义上并不互逆实际上却是相关\互逆的关系并不在知识图谱中。
由于逆关系所导致的data leakage是夸大模型准确性的一种数据冗余。这篇文章在FB15k和YAGO3-10中还找到了其他类型的数据冗余。
具体来说，就是某些关系是重复关系，因为他们的实体对基本重叠；还有一些属于反向重复关系，他们的头实体-尾实体与另一关系的尾实体-头实体相重叠。图3展示了一种重复关系。文章中还提出了另一种关系，作者称之为笛卡尔积关系（Cartersian product relations），这种关系不切实际地夸大了模型的准确性：一组头实体和一组尾实体，头实体组中的任意一个与尾实体组中的任意一个都可以通过某关系配对为三元组。举个笛卡尔积关系的例子，每一个NBA球队中都会有大前锋、小前锋、中锋、得分后卫和控球后卫的位置，这种关系在现实世界中往往没什么意义。在2013年5月的Freebase快照中，接近10%的关系是笛卡尔积关系；在FB15k中的1345个关系中有142个是笛卡尔积关系。此外，当训练集中有大量上述这样的子集的时候，相对来说可以让模型更容易达到更高的预测准确度。
在对逆关系分析所得的问题A1-A3在重复关系和笛卡尔积关系中也同样存在，同时，观察结果R1-R3也同样适用。
在FB15k的测试集中，逆关系、重复/反向重复关系、笛卡尔积关系和剩余关系的数量分别为798、118、78和106，在这种关系上，ConvE的FMRR分别为0.72、0.948、0.881和0.444。另一个例子是YAGO3-10，该数据集中包含的两个关系：isAffiliatedTo和playsFor，他们的头尾实体重合率达到了63%以上，针对这两个关系ConvE的FMRR为0.612，但是对于该数据集中的其他关系，FMRR仅为0.304。
对于重复和反向重复关系，基于数据统计的简单规则已经可以做到相当准确，就像前面提到的反向关系一样。
对于笛卡尔积关系，通过观察可以发现，数据集中存在很大一部分实体都可以推导出笛卡尔积关系。因此这些实体对应该都复合同样的一种关系。该文章在FB15k中对9个笛卡儿乘积关系进行了实验，用该方法得到的平均FHits@10结果为98.3%，这一指标高于TransE在这些关系上的平均FHits@10结果：96.3%。
其中， FB15k中存在的笛卡尔积关系有相当大的部分是人为添加的。事实上，其中60%是由Freebase中代表多级关系的特殊 “中介节点”产生的，FB15k简单地通过连接边删除了这些节点。同样，FB15k中绝大多数重复和反向重复关系也都是人为创建的，其中有84对重复关系，在这84对中的80对中，至少与其他一个或两个关系重复。它们使用的链接预测场景在现实世界中根本不存在，并导致不切实际的高预测精度。图2展示了一Freebase中的一个中介节点。

在FB15k-237和WN18RR上嵌入模型的性能要弱得多，因此也促进了该文研究基于可观察的特征模型，尤其是使用规则挖掘系统AMIE发现的规则。实验结果表明，在更符合实际的数据集FB15k-237和WN18RR上，它也有着显著的退化：它在FB15k对FB15k-237上的FMRR是0.797对0.308，在WN18对WN18RR上是0.94对0.357。

实验结果

文章还做了更加详细的数据分析，包括不同种类的关系得分，不同模型预测结果的详细比较等，详细数据可以参考原文。所有实验数据均能有力地证明文章观点。

总结

作者对这些算法在不同数据集上的表现进行了研究，得出了结论现有的基于FB15k或者WN18所训练的模型并不能精确地进行链路预测，甚至即使是模糊预测的应用中，某些方面也不如基于规则挖掘的模型。本文试图证明了，使用FB15k或者WN18等训练嵌入模型或者规则挖掘模型并不合理，无法运用到实际场景中。同时，无论是基于知识图谱嵌入还是基于规则挖掘，都建议在训练和测试时使用FB15k-237、WN18RR这种更符合实际的数据集。