论文浅尝 | 知识图谱的神经符号推理（上）

笔记整理 | 叶橄强，浙江大学在读硕士，研究方向为知识图谱的表示学习和预训练。

---

知识图谱推理是支撑信息提取、信息检索和推荐等机器学习任务的基础组成部分，并且由于知识图可以看作知识的离散符号表示，自然可以利用符号技术做知识图谱推理任务。但是符号推理对模糊和噪声数据容忍度很低，在真正的应用中受到很多限制。而近年来，深度学习的繁荣促进了知识图谱神经推理的快速发展，它能很好地克服模糊和噪声数据带来的干扰因此具有较强的鲁棒性，但与符号推理相比缺乏解释能力。正因为两种方法各有优缺点，最近不少研究者将这两种推理方法结合起来进行了努力。该论文对符号推理、神经推理和混合推理在知识图上的发展进行了深入的研究，而本文的分享主要聚焦于神经符号混合推理的相关方法。

一、推理方法分类

推理通常有三种主要的组合方法。

（1）神经推理，又称知识图谱嵌入，其目的是学习知识图谱中实体和关系的分布嵌入向量，在给定头实体和关系的情况下，根据嵌入向量推断出答案实体。一般来说，现有的神经推理方法可分为基于翻译的模型、乘法模型和深度学习模型。

（2）符号推理，其目的是从知识图谱中推导出一般的逻辑规则，从给定的头实体派生的实体和遵循逻辑规则的查询关系作为答案返回。现有的符号推理方法主要是基于搜索的归纳逻辑程序设计（Inductive Logic Programming，ILP）方法，通常是对规则进行搜索和剪枝。

（3）神经符号推理，融合了神经推理和符号推理的优点的一种推理方法，在下文中详细阐述。

三种推理方法具体可以参考表1，其中囊括了这三种方法下的主要代表模型

表1 推理方法和知识图谱补全方法汇总

二、神经符号推理

本文的分享主要介绍神经符号推理部分。

神经推理和符号推理有各自的特征并有着显著不同的优缺点：符号推理擅长逻辑推理，具有很强的可解释性，但它很难处理实体和关系的不确定性以及自然语言的模糊性，即对数据噪声的抵抗能力较差；相反，神经网络具有很强的容错行，能够利用嵌入向量学习抽象语义，并通过符号表示来进一步比较和运算这些嵌入向量，而不只是实体和关系之间的字面意义。推理方向的最新进展结合了这两种推理方法，可以将这些研究成果归纳汇总为三种类别。

第一种是以神经推理为目标，利用逻辑规则改进神经推理的嵌入，称为符号驱动神经推理。

第二种是用概率框