论文浅尝 - WSDM20 | 基于弱监督及逐步推理的多关系知识图谱问答

论文笔记整理：刘晓臻，东南大学计算机科学与工程学院本科生。

---

来源：WSDM ’20

链接：https://dl.acm.org/doi/abs/10.1145/3336191.3371812

动机

知识图谱问答(KG-QA)系统大多包含两个步骤：链接问题中的topic entity到KG，然后识别问题所指的在KG中的最相关的关系。根据获取答案所需的KG三元组的数量，可以将自然语言问题分成单一关系问题和多关系问题两种。

现有的KG-QA方法可以分成两个主流的分支。

第一种主要致力于学习一个能够将非结构化的问题转换为结构化表示的语义解析器(Semantic Parser, SP)，其中传统的基于SP的方法利用诸如SPARQL、λ-DCS和λ-calculus之类的逻辑形式，但这就要求用户熟悉这些逻辑形式的语法和后台数据结构，而且预测所得的结构和和KG的结构之间存在的不匹配的情况也会限制模型的表现。因此最近的研究使用query graph来表示问题的语义结构，这样可以取得较好的结果，但以人工标注成本作为代价，因此难以用于其它领域，且依赖于成熟的NLPpipelines，会有错误的叠加。

另外一个分支的方法利用以topic entity为中心的子图获取候选答案，且将问题和每个候选子图编码为同一个嵌入空间的语义向量，利用嵌入相似度排序，其中神经网络可以较好地用以表示问题和KG成分。这一类方法可以端到端地训练，且有泛化到其他领域的可能，但在多关系问题上表现不是很好。

因此，对于后一类方法，最近的研究工作致力于提高多关系问题上的推理能力。然而还有以下几个挑战：(1) 时间复杂度过高，因为现有的方法对于每个问题都需要用到整个以topic entity为中心的子图，使得候选答案个数以指数级上升。(2) 语义信息太复杂，因为多关系问题中的每一个部分都对三元组选择有各自的影响，故需要在不同步骤里关注问题中的不同部分，而许多现有的方法没有对多关系问题作更进一步的分析，因此表现很差。(3) 需要使用弱监督来训练，因为一步步地分析到底如何回答一个多关系问题是不现实的，这需要大量的数据标注。实际的标注只有最终的答案，因此是弱监督的。有些工作使用外部知识(如Wikipediafree text)来丰富分布式表示，但这种操作不适用于没有外部知识的某些特定领域。

针对以上挑战，本文提出了一个基于强化学习的神经网络模型“Stepwise Reasoning Network (SRN)”。贡献如下：

(1) 针对第一个挑战，SRN将多关系问题的回答形式化为一个顺序决策问题，通过学习一个从topic entity开始，在KG中执行路径搜索的策略来得到一个自然语言问题的答案，并使用beam search在每一步获取三元组列表，因此可以不考虑整个以topic entity为中心的子图，进而显著减少对于一个问题的候选答案。

(2) 针对第二个挑战，SRN使用注意力机制决定当前关注哪一个部分以获取问题中不同部分的独特的信息，在每一步使用对应的单层感知机以强调三元组选择的顺序，使用GRU网络来编码决策历史。

(3) SRN使用REINFORCE算法进行端到端训练。针对第三个挑战，特别是在弱监督、多关系问题的情况下存在的一系列问题，SRN使用基于potential 的reward shaping方法来为agent提供额外的rewards，该方法不会使得agent偏离真正的目标，也不需要外部知识。

(4) 通过实验证明了方法的有效性，在3个benchmark数据集上进行了ablationstudy。

方法

1.任务定义

一个KG由G= (E, R)表示，E为实体集合，R为关系集合；KG中每个三元组(e_s, r, e_o)都代表了现实生活中的一个基本事实。对于一个自然语言问题q，一个KG-QA模型返回事实性答案，答案包含存储在KG中的三元组，对于许多复杂问题，要求不止一个三元组。

2.强化学习形式化

强化学习常被形式化为一个马尔可夫决策过程(Markov decision process, MDP)。本文将MDP视为从交互中学习到回答基于KG的自然语言问题。如图1，agent是学习者，也是决策者，在一个离散时间决策步骤序列中的每一步，agent和除它之外的一切(环境)交互。