笔记整理 | 许泽众,浙江大学在读博士
3、神经驱动的符号推理
相比于之前的两种类型,神经驱动的符号推理的目的是挖掘规则,而神经网络在其中扮演的作用是解决纯符号推理的不确定性,并且能够有效的减少搜索空间。这种类型的方法的基本思路是找到query的多跳邻居节点,然后根据概率从这些邻居节点中选择正确的答案。这类方法大致可以分为三类,基于路径的、基于图的和基于矩阵的。
3.1、基于路径的神经符号推理
如图是基于路径方法的基本方式,在每一步上都会选择一个可能的路径。
这一类的方法的较早尝试是Path-Ranking Algorithm(PRA),需要注意的是这个方法是纯symbolic的,但是其余方法大多借鉴了这个方法,所以先简要介绍一下这个方法。 核心思想是利用连接两个实体的路径去预测他们之间是否有潜在的关系。但是每条路径的重要程度不同,所以需要对每条路径的分配合适的权重。
给定头实体h和尾实体t,PRA通过执行具有l步长的重启算法的随机游走来获得从h到t的长度为l的路径,然后计算实体对(h ,t)遵循路径p时候的得分。最后,PRA通过将不同路径的分数作为对应特征值的线性回归模型来估计不同路径的权重。
PRA依赖KG中存在的关系来寻找路径,下面两篇文章就是通过不同的方式来添加KG中的关系,分别是利用web的文本信息和语义库中的单词来补充KG中的关系。
Reading the web with learned syntactic-semantic inference rules.
Improving learning and inference in a large knowledge-base using latent syntactic cues.
以上的文章只能处理见过的关系,同时算法中的路径生成,是针对每一种关系的,所以针对不同的关系,需要训练不同的模型分别计算每种关系对应的多条