Reasoning Through Memorization:Nearest Neighbor Knowledge Graph Embeddings

摘要

以前的知识图嵌入方法通常将实体映射到表示，并利用分数函数来预测目标实体，但它们很难推断出罕见或未出现的实体。本文提出了一种基于预训练语言模型的kNN-KGE知识图嵌入方法，该方法通过k近邻对其实体分布进行线性插值。我们根据实体嵌入空间与知识存储的距离计算最近邻。我们的方法可以允许显式地而不是隐式地在模型参数中记忆稀有或新出现的实体。实验结果表明，我们的方法可以改善感应和转导链接预测结果，并在只有几个三元组的低资源设置下产生更好的性能，这可能更容易通过显式记忆进行推理1。

1.介绍

知识图(Knowledge Graphs, KGs)以结构化的方式将事实以三元组的形式组织起来，缩写为(𝑠，𝑝，𝑜)，其中𝑠和𝑜表示实体，𝑝建立实体之间的关系。由于新兴实体及其在实际应用中的关系，大多数KGs远未完成;因此，KG补全——在缺少三元组的情况下扩展KG的问题——引起了研究人员的兴趣。大多数以前的KG补全方法，如TransE[2]、ComplEx[30]和RotatE[28]，都是知识嵌入技术，它们将实体和关系嵌入到向量空间中，然后利用预定义的对这些向量的评分函数来获得预测的三元组。这些方法通过端到端训练将所有关系知识隐式编码到参数化神经网络的权值中。然而，这些方法的一个主要限制是它们很难通过在几