论文浅尝 | 记忆推理：最近邻知识图谱嵌入

笔记整理：孙硕硕，东南大学硕士，研究方向为根因溯源。

Citation: Zhang N, Xie X, Chen X, et al. Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings[J]. arXiv preprint arXiv:2201.05575, 2022.

动机

大多数知识图谱补全方法（如TransE、ComplEx和RotatE）都是将实体和关系嵌入到向量空间，然后通过对这些向量利用预定义的评分函数获取预测三元组的知识嵌入技术。这些方法通过端到端训练，将所有相关知识隐式编码到参数神经网络的权值中。然而，这些方法的一个主要限制是，它们几乎不能通过几个罕见实体或在训练中未见过的新实体进行推理。

记忆增强神经网络的最新进展导致了分离计算处理和记忆存储的模块化架构的设计。那些基于记忆的方法(或非/半参数方法)已经成功地应用于任务，如语言模型和问答，它们具有表达能力和适应性。受此启发，本文提出了kNN-KGE，这是一种通过用k近邻(kNN)模型线性插值其实体分布扩展知识图嵌入的方法。

图1 kNN-KGE不仅利用softmax (MEM头)中的实体预测，而且还从实体描述和训练三元组构造的知识存储中检索实体

贡献

文章的贡献有：

1.第一个用于知识图嵌入的半参数方法。本文的工作为通过显式记忆提高知识图推理开辟了新的途径；2.本文引入了可以显式记忆罕见或新兴实体的kNN-KGE，这在实践中是必不可少的，因为KGs是不断变化的；3.在两个基准数据集上的实验结果表明，与基准数据集相比，本文的模型可以产生更好的性能，尤其有利于低资源的推理。

方法

•模型框架

如下图2所示为本文提出的kNN-KGE模型框架。

图2 kNN-KGE模型框架

如图2所示，该模型包括三个模块