论文浅尝 | 重新实验评估知识图谱补全方法

论文作者：Farahnaz Akrami，美国德州大学阿灵顿分校，博士生。

笔记整理：南京大学，张清恒，硕士生。

---

     

链接：https://arxiv.org/pdf/2003.08001.pdf

代码：https://github.com/idirlab/kgcompletion

一、概述

目前的知识图谱（KG）规模庞大，但还远远不够完备。近年来，知识图谱补全（KGC）研究已然成为热门话题，其目标是将缺失的事实补充到KG中。研究者们对KG表示学习模型或嵌入（embedding）模型进行了广泛的研究，提出了众多新的嵌入模型。我们进行了实验研究以评估这些方法，本文将发表在SIGMOD 2020。

本文主要研究了KGC方法的真实有效性，同时发现了基准数据集FB15k、WN18以及YAGO3-10中存在的缺陷。这些数据集被广泛用于训练和评估众多嵌入模型，它们包含大量的反向和重复三元组，本文揭示了这些数据集中存在的数据冗余和测试集遗漏问题对嵌入模型的影响。本文研究的另一问题是FB15k数据集中存在笛卡尔积关系。数据集中存在的上述问题会导致模型准确性出现误差。此外，使用这些数据集训练KGC模型容易导致过拟合，使用上述三元组优化的模型，很难被推广到真实的应用场景中。简而言之，通过研究有以下发现：

1. 广泛使用的基准数据集中存在数据冗余和测试集遗漏等问题，导致许多模型的准确性被高估了19％-175％；

2. 我们发现笛卡尔积关系也会导致性能评估出现误差；

3. 用于评估模型的许多测试用例在现实场景中不是真