基于神经网络的知识推理

知识推理是知识图谱补全的手段，也是知识图谱领域的研究热点之一。

知识图谱补全：补全知识图谱中不完整的或者隐含的知识。

面向知识图谱的知识推理大致可以分为三类：

（1）基于逻辑的推理方式：通过一阶谓词逻辑、描述逻辑、等利用规则推理出新的实体关系

（2）基于统计的方法：通过机器学习从知识图谱中统计出规律

（3）基于图的推理方法：path ranking算法和基于神经网络的方法

 

 

 

基于神经网络的推理方法主要有三种：基于语义的推理、基于结构的推理辅助存储的推理

 

一：基于语义的推理

基于语义的推理建立在挖掘和利用语义信息的基 础上，例如实体和关系的名称、描述以及上下文信息 等。由于文本中蕴含的潜在语义信息非常丰富，信息之 间存在着深刻的语义关联，因此，文本和语义信息自然 而然地成为知识推理领域的主要推理依据。

1.NTN模型

利用双线性张量层代替传统的标准线性神经网络。将实体表示为向量来获取实体信息，用参数表示关系，将关系表示为三阶张量并且关联两个实体。将关系表示为张量的好处是，一个关系有多个切片，每个切片都对应一种不同的语义，这样可以更好地建模该关系下不同实体之间的不同语义。

 

其中 f=tanh 是一个标准非线性函数，是 一个张量，  是双线性张量积，其结果为 h∈Rk, 每个 hi 代表一个张量切片，关系 R 的其他 参数参照标准神经网络： 。 g(e1,R,e2) 函数得分越高，说明实体 e1 和 e2 之间处于关 系 R 的可能性越高。

 

 

 

 

2.DKRL

大部分知识表示模型只会关注实体和关系名称的嵌入，但是大多数的知识图谱中还存在着对实体的描述，这些描述丰富了语义信息，但是却没有得到足够重视。DKLR就是一种基于描述的模型，通过对描述内容的学习，不仅可以获取三元组的结构学习，还可以获得实体描述中的关键词和隐藏在语序中的文本信息。

 

3.ProjE模型

随着知识库存储量的不断增大，知识推理模型特征 空间日益复杂，参数规模也随之不断增长。Shi等人[17] 通过简化底层模型体系结构，提出一种效果更好而参数 规模更小的投影嵌入模型（Embedding Projection，ProjE）， 其主要方法是将实体预测视为多候选项排名问题，取其 中排名得分最高的候选项为实体预测结果

该方法的大致思路就是将已知信息预先组合在一起生成一个目标向量，然后每个候选对象的对应的向量与该目标向量计算相似度。排名高的就作为预测结果。上述的D矩阵为权重矩阵（实体和关系）。

 

4.MT-KGNN模型

知识图谱中还存在这丰富的属性信息，所以构建了多任务神经网络体系结构，学习实体、关系、属性的表示。涉及两个神经网络，关系网络和属性网络。

由于头实体与尾实体被认为是反对称的，所以把属性网络分为两部分，利用左属性网AttrNet（left）获取头实体及其属 性，利用右属性网AttrNet（right）获取尾实体及其属性。 

 

二：基于结构的推理

基于三元组内部或者三元组之间的结构联系进行推理，一般有三种：基于相邻实体的推理模型、基于多条关系的推理模型、基于组合路径的推理模型

1.基于相邻实体的推理模型--  R-GCN

R-GCN相当于一个自编码器，包括一个编码器，一个解码器

编码器是一个R-GCN网，将目标实体与知识图谱 中的邻居实体进行卷积学习，输入当前实体的相邻关系 信息，包括关系类型、关系的方向以及实体自循环的信 息，然后输出目标实体的隐性特征向量表示并将其输入 解码器

解码器是一个张量分解模型，使用DistMult[24]作为 得分函数，计算头实体向量的转置、关系特定的对角矩 阵和尾实体向量的乘积，由此引入关系向量的建模，标 记待预测关系。 

 

2.基于多跳关系的推理模型

很多三元组之间具有链接关系（即有的三元组的尾是其他三元组的头），这样多个三元组即可构成一条路径

基于多跳关系的推理模型就是使用递归神经网络将路径上的关系的语义组合起来。

 

3.基于组合路径的推理模型

和基于多跳关系的推理模型差不多，不过两个实体之间的路径可能不止一条，基于组合路径的推理模型就是利用attention把所有路径都考虑进去。

 

三.基于辅助存储的推理

就是模仿人脑对知识的存储能力，通过设计共享记忆组件来存储信息。

1.IRN模型

 

2.DNC模型

除了存储信息，人脑还可以对知识进行读写，所以该模型设计了一个共享矩阵，该矩阵可以选择性的进行读写操作。