Knowledge graph extension with a pre-trained language model via unified learning method

 

摘要

知识图(KGs)是由三元组的结构化形式表示的现实世界知识的集合。由于它们是在初始阶段手工构建的，因此存在一个常见的问题，即缺少一些链接(三元组)。知识图谱补全(Knowledge graph completion, KGC)的目的是找到那些缺失的环节，从而完成知识图谱，然而，随着知识来源的多样化，新的实体如爆炸式地出现，需要将它们与现有的知识图谱连接起来，因此，开放世界知识图谱补全的目标是将知识图谱扩展到这些新的实体。处理这些新实体具有挑战性，因为它们与现有KGC中的实体没有任何联系。处理新实体的一种方法是将它们与文本描述嵌入到预训练的词嵌入中，并使用现有的典型KGC模型在图向量空间中对它们进行评分。这些模型已经产生了有意义的结果，但仍然缺乏利用最新的神经网络的研究，例如预训练的语言模型，已知它比预训练的词嵌入更擅长捕获上下文。本文提出了一种新的模型，通过预训练的语言模型有效地连接新的实体和现有的KGs。为了有效地解决这个问