DeepPath：一种用于知识图推理的强化学习方法 2018年3月28日 BY FRANCE·0 COMMENTS

 

https://arxiv.org/pdf/1707.06690.pdf

https://github.com/xwhan/DeepPath

摘要
我们研究了在大规模知识图（KGs）中学习推理的问题。更具体地说，我们描述了一种用于学习多跳关系路径的新型强化学习框架：我们使用基于知识图嵌入的具有连续状态的基于策略的代理，其通过采样最有希望的关系来扩展它的KG向量空间路径。与之前的工作相比，我们的方法包括一个奖励功能，该功能考虑了准确性，多样性和效率。在实验上，我们表明，我们提出的方法胜过基于路径排序的算法和知识图嵌入方法Freebase和Never-Ending语言学习数据集。

1介绍

用于语音识别中声学建模的深度神经网络近年来，深度学习技术已经在各种分类和识别问题中获得了许多现成的结果（Krizhevsky et al。，2012; Hinton et al。，2012; Kim，2014）。然而，复杂的自然语言处理问题通常需要多个相互关联的决策，并且赋予深度学习模型以学习理性的能力仍然是一个具有挑战性的问题。为了处理没有明显答案的复杂查询，智能机器必须能够推理现有资源，并学会推断未知答案。

更具体地说，我们把我们的研究放在多跳推理的环境中，给出一个大的KG，这是学习显式推理公式的任务。例如，如果KG包含诸如Neymar为巴塞罗那出战的信念，而巴塞罗那在西甲联赛中，那么机器应该能够学习以下公式：playerPlaysForTeam（P，T）∧teamPlaysInLeague（T，L）⇒ playerPlaysInLeague（P，L）。在测试时间内，通过插入学习公式，系统应该能够自动推断一对实体之间的缺失链接。这种推理机可能会成为复杂QA系统的重要组成部分

近年来，路径排序算法（PRA）（Lao et al。，2010，2011a）成为大型幼儿园学习推理路径的一种有前途的方法。PRA使用基于重启的基于推理机制的随机游走来执行多个有界深度优先搜索过程来查找关系路径。加上基于弹性网络的学习，PRA然后使用监督式学习选择更合理的路径。然而，PRA在完全独立的空间中运作，这使得评估和比较KG中类似的实体和关系变得困难。