【RAG问答相关】复杂知识库问答综述（中）

前言

大模型落地应用过程中，一般形式还是问答形式，无论是人机对话还是机机对话，都是靠问答来解决一系列问题。无论是要求大模型给出具体的专业化知识，还是要求大模型进行某项作业的开展，都是以问题（指令其实也是一种特殊的问题）的形式进行。所以在RAG中，如何将问题转化为大模型能够理解的问题，转化为各种知识库可以查询的问题，这是应用大模型能力的关键。本次带来的东南大学发表的一篇关于KBQA相关的论文综述。详细介绍了复杂事实性问题的处理框架。我分为上中下三个部分详解这篇论文中关于KBQA相关的内容。洞悉用户问题才是大模型落地应用的第一步！本篇为中篇，主要讲述了KBQA中基于语义解析的方法（SP_base）和基于信息检索的方法（IR-base）。欢迎关注我们，大模型的艺术，持续更新！

【RAG问答相关】复杂知识库问答综述（上） 【RAG问答相关】复杂知识库问答综述（中）

基于语义解析的方法

在这一部分我们讨论基于语义解析方法的挑战和解决办法。

挑战和解决方案的分类可以用图4来显示。

概述

基于SP的方法采用一种解析-执行过程，通过一系列模块来实现，包括问题理解、逻辑解析、知识库连接和知识库执行。这些模块在处理复杂的知识库问答（KBQA）时面临不同的挑战。首先，当问题在语义和句法方面都较为复杂时，问题理解变得更加困难。其次，逻辑解析必须涵盖复杂问题的多种查询类型。此外，涉及更多关系和主题的复杂问题将显著增加解析的可能搜索空间。第三，逻辑形式的手动标注成本高昂且劳动密集，使用弱监督信号（即问题-答案对）来训练基于SP的方法具有挑战性。在接下来的部分中，我们将介绍先前研究如何应对这些挑战，并总结它们提出的高级技术。

理解复杂的语义和句法结构

作为基于SP方法的第一步，问题理解模块将非结构化文本转化为编码的问题，这有助于下游的解析过程。与简单问题相比，复杂问题具有组合语义和更复杂的查询类型，这增加了语言分析的难度。

理解复杂问题的语义结构

复杂问题的复杂语义表明了句子之间的复杂依赖模式，这表达了各成分之间的关系。了解句子结构的核心部分有助于理解问题。将问题的结构属性结合是实现这一目标的一种直观策略。

将问题的结构属性纳入到seq2seq生成中。许多现有方法依赖于句法分析，例如依赖关系和抽象含义表示（AMR），以提供问题成分与逻辑形式元素（如实体、关系、实体类型和属性）之间更好的对齐。这一研究方向在图5的左侧有所示。为了表示答案与问题中主题实体之间的远距离依赖关系，Luo等人提取了它们之间的依赖路径。通过编码方向性依赖路径，他们将句法特征和本地语义特征结合起来，形成全局问题表示。类似地，Abujabal等人利用依赖关系解析来处理组合性表达，并在创建查询模板时仅关注由解析的依赖路径包含的重要token。Abujabal等人没有直接在依赖路径上创建逻辑形式，而是利用依赖关系解析来分析表达方式的组合，并将其与逻辑形式对齐。Kapanipathi等人引入了AMR来帮助理解问题。其好处有两个方面：（1）AMR在消除自然语言表达中的歧义方面很有效。（2）AMR解析模块高度抽象，有助于以与知识库无关的方式理解问题。然而，在复杂问题上，尤其是在存在长距离依赖的情况下，产生句法分析仍然不够满意。

为了缓解复杂问题的不准确句法分析，Sun等人利用基于骨架的分析来获取复杂问题的主干，这是一个带有几个分支（即原始文本段的主要词）的简单问题，需要进一步扩展。例如，问题“What movie that Miley Cyrus acted in had a director named Tom Vaughan?”的主干是“What movie had a director?”，问题中的定语从句将被视为主干的分支。在这种骨架结构下，只有简单问题需要进一步解析，这更有可能获得准确的解析结果。

理解复杂查询的复杂句法结构

通过分析复杂语义来理解问题非常重要。同样，分析查询的句法结构也至关重要，确保生成的逻辑形式能够满足复杂查询的句法要求。虽然上述方法使用Seq2seq框架生成逻辑形式，但另一条研究路线（如图5的右侧所示）侧重于利用结构属性（例如逻辑形式的树结构或图结构）来对候选解析进行排名。

将逻辑形式的结构属性纳入特征化排名中。 Maheshwari等人提出了一种新颖的排名模型，利用查询图的结构并使用注意权重来明确比较谓词与自然语言问题。具体而言，他们提出了一种细粒度的槽匹配机制，用于在问题和核心推理链中的每个谓词之间进行逐跳语义匹配。与捕捉问题和简单关系链之间的语义相关性不同，Zhu等人关注了查询的结构属性，并进行了查询-问题匹配的KBQA。他们使用了一个结构感知的编码器来建模查询中的实体或关系上下文，促进了查询和问题之间的匹配。类似地，Zafar等人结合了两个Tree-LSTM来建模问题的依赖解析树和候选查询的树结构，并利用它们之间的结构相似性进行全面排名。

传统方法采用状态转移策略生成候选查询图。由于这种策略忽略了查询的结构，将生成大量无效的候选查询。为了过滤掉这些查询，Chen等人提出了预测问题的查询结构，并利用结构限制候选查询的生成。具体而言，他们设计了一系列操作，用于生成类型、数值操作符、谓词和实体的占位符。然后，他们可以将这种未实例化的逻辑形式与知识库进行关联，并生成可执行的逻辑形式。

解析复杂查询

为了生成可执行的逻辑形式，传统方法首先利用现有的解析器将问题转化为CCG推导，然后通过将谓词和参数与知识库中的关系和实体进行对齐，将其映射到SPARQL。由于本体不匹配问题，这种方法对于复杂问题来说是次优的。因此，为了进行准确的解析，需要利用知识库的结构，在解析过程中进行与知识库的连接。

通过预定义的查询模版设计逻辑形式。 为了满足复杂问题的组合性，研究人员已经开发了多种表达能力强的逻辑形式作为解析目标。回顾在初步步骤中识别的主题实体，Bast等人从主题实体出发，设计了三个查询模板作为解析目标。我们在图6中列出了这三个查询模板。前两个模板返回距离主题实体“Titanic”1跳和2跳的实体。第三个模板返回距离主题实体两跳，并受另一个实体的限制。后续研究集中于设计模板以回答时间性问题。虽然这种基于模板的方法可以成功解析几种类型的复杂问题，但存在覆盖范围有限的问题。

采用灵活组合规则设计具有表达力的逻辑形式。为了设计更具表现力的逻辑形式，Yih等人提出了查询图作为具有表达力的解析目标。查询图是一种图结构的逻辑形式，与知识库模式密切匹配，是可执行SPARQL的替代品。它由实体、变量和函数组成，分别对应于问题中提到的基础实体、查询和聚合操作。如图6所示，首先确定了一组从主题实体开始的核心推理链。然后，将约束实体和聚合运算符附加到路径链上，使其适应更复杂的问题。与预定义的模板不同，查询图不受跳数和约束数的限制。它们已经表现出强大的能力来表达复杂问题，尽管它们仍然无法处理长尾复杂问题类型。基于对长尾数据样本的更多观察，后续工作试图通过引入句法标注来增强查询图的结构复杂性，应用更多的聚合操作符，如合并、共指消解以适应复杂问题。与查询模板相比，具有灵活组合规则的逻辑形式可以适用于各种复杂查询。更具表现力的逻辑形式表示更强大的知识库问答系统，可以处理更多样化的问题。

在庞大的搜索空间下进行知识库连接

为了获得可执行的逻辑形式，知识库连接模块会将可能的逻辑形式与知识库进行实例化。由于知识库中的一个实体可能与数百甚至数千个关系相连，考虑到计算资源和时间复杂性，枚举和连接复杂问题的所有可能逻辑形式是不可行的。

将复杂问题分解为子问题。 研究人员尝试提出方法，通过多个步骤生成复杂查询，而不是通过单一遍历来枚举逻辑形式。郑等人提出首先将复杂问题分解为多个简单问题，其中每个简单问题都被解析为一个简单的逻辑形式。最终答案可以通过部分逻辑形式的连接或合成来获得。这种分解-执行-连接策略可以有效缩小搜索空间。不过，布塔尼等人研究了一种类似的方法。由于将问题分解需要人工工作，他们通过增强的指针网络减少了人工注释，并通过识别组合计划来获得。最终答案是通过合并或组合分解问题的答案获得。

通过迭代扩展逻辑形式。 与将复杂问题分解为子问题不同，许多研究采用了扩展和排名策略，通过迭代方式扩展逻辑形式以减少搜索空间。具体而言，它们首次收集了与主题实体的1跳邻域相关的所有查询图作为第一次迭代的候选逻辑形式。这些候选根据它们与问题的语义相似性进行排名。排名靠前的候选保留下来进行进一步扩展，而排名靠后的候选则被过滤掉。在随后的迭代中，每个排名靠前的查询图都会进行扩展，从而产生了一组更复杂的候选查询图。此过程将一直重复，直到获得最佳查询图。陈等人首次利用跳跃贪婪搜索来扩展最有可能的查询图。兰等人提出了一个增量序列匹配模块，以迭代方式解析问题，而不需要在每个搜索步骤中重新生成查询图。上述扩展是以线性方式进行的，只对生成多跳关系有效。兰等人为每次迭代定义了三种扩展操作，分别对应多跳推理、约束关系和数值操作，分别是扩展、连接和聚合。图7中的示例展示了这两种策略的不同原理。

在弱监督信号下进行训练

为了应对未标记的推理路径问题，已经使用基于强化学习（RL）的优化方法来最大化预期奖励。然而，训练数据不足使得在弱监督下进行训练成为一项挑战。

使用稀疏奖励进行训练

通过RL进行训练表明，基于SP的方法只能在完整解析逻辑形式之后才能获得反馈。这导致了一个具有极度稀疏正奖励的长时间探索阶段。为了解决这个问题，提出了一些方法来增强最终奖励或中间奖励。

通过丰富的特征增强最终奖励。一些研究工作采用奖励塑造策略来进行解析评估。具体而言，研究人员通过将更多答案信息纳入最终预测的丰富特征中来增加逻辑形式的奖励。Saha等人在模型预测的答案具有与连接真相相同的类型时，奖励模型附加的反馈。通过这种方式，即使模型预测的答案不完全等于连接真相，它们也可以鼓励模型寻找正确的答案类型。这有助于避免探索阶段出现稀疏正奖励。

通过丰富的评论者增强中间奖励。除了来自最终预测的奖励之外，语义解析过程中的中间奖励也可以帮助应对这一挑战。最近，Qiu等人将查询图生成形式化为分层决策问题，并提出了一个基于选项的分层框架，为低级代理提供中间奖励。通过在决策过程中设置选项，高级代理在中间步骤为低级代理设定目标。为了评估低级代理的中间状态是否符合高级代理的目标，他们测量了给定问题和生成的三元组之间的语义相似性。为了为策略提供有效的中间反馈，Qiu等人使用手工制定的规则增强了查询图的评论者。

处理虚假推理

在训练的早期阶段，很难找到具有正奖励的逻辑形式。此外，在早期阶段的随机探索很容易导致虚假推理，其中逻辑形式导致正确答案但在语义上不正确。因此，可以进行高质量逻辑形式的早期监督，以加速训练并防止模型误导虚假推理。

通过高奖励逻辑形式稳定训练过程。为了加速和稳定训练过程，Liang等人提出了通过迭代最大似然训练过程找到的伪黄金程序来引导训练的方法。训练过程包括两个步骤：(1) 利用波束搜索机制找到伪黄金程序，以及(2) 在历史上找到的最佳程序的监督下优化模型。Hua等人采用了类似的思路，通过将生成的逻辑形式与存储在内存缓冲区中的高奖励逻辑形式进行比较来评估逻辑形式。为了在开发和探索之间取得平衡，他们提出了接近奖励和新奇奖励，以鼓励记住过去的高奖励逻辑形式并生成新的逻辑形式以减轻虚假推理。将这种奖励与终端奖励结合起来，模型可以在学习过程中获得密集的反馈。

基于信息检索的方法

在本节中，我们总结了复杂问题对IR-based方法的不同模块带来的主要挑战。这些挑战和解决方案的分类可以通过下图进行可视化。

概述

整个流程通常包括检索源构建、问题表示、基于图的推理和答案生成等模块。这些模块在处理复杂KBQA时会遇到不同的挑战。首先，检索源模块从知识库中提取一个与问题相关的图，其中包括相关事实和大量的噪声事实。由于源知识库的不可忽视的不完整性，正确的推理路径可能在提取的图中不存在。在复杂问题的情况下，这两个问题更容易出现。其次，问题表示模块理解问题并生成指导推理过程的指令。当问题变得复杂时，这一步变得具有挑战性。然后，通过语义匹配在图上进行推理。在处理复杂问题时，这些方法通过语义相似性来对答案进行排名，而不在图中进行可追踪的推理，这阻碍了推理分析和故障诊断。

接下来的部分将阐述先前的工作是如何应对这些挑战以及使用的先进技术。

在不完美的知识库下进行推理

一般而言，基于信息检索的方法通过在图结构上进行推理来找到答案。这个图结构通常是从知识库中提取的一个与问题相关的图。然而，由于知识库的不完整性和启发式图生成策略带来的噪声图上下文，这些问题特定的图永远不会是完美的。

在不完整的知识库上进行推理

对于问题特定图来说，获得正确推理路径的高召回率是至关重要的。由于简单问题只需要在知识库中的主题实体附近进行1跳推理，所以在解决简单问题时，基于信息检索的方法不太可能受到知识库固有不完整性的影响。相比之下，复杂问题的正确推理路径很可能不会出现在问题特定图中，这将成为一个严重问题。为了解决这个挑战，研究人员利用辅助信息来补充知识源。我们将不同的补充方法分为三类，并在图9中展示它们的核心区别。

图9. 说明了三种补充不完整知识库的方法类别。所有子图都是以自下而上的方式绘制的，输入位于底部，补充的图位于顶部。主题实体和答案实体分别以粗体和阴影框显示。

用句子作为节点来补充不完整的知识库。直观地说，从维基百科中检索到的大量与问题相关的文本语料库可以提供广泛的非结构化知识作为补充证据。基于这一观察，Sun等人提出了使用额外的问题相关句子作为节点来补充图，并在增强的异构图上进行推理（即图9左侧）。根据句子中提到的实体，他们将它们与图上的相应实体进行关联并将它们视为节点。

通过文本信息增强实体表示。 与直接将句子作为节点补充到问题特定图中不同，熊等人和韩等人提出将额外的文本信息融合到实体表示中作为第二种方式（如图9中间所示）。熊等人设计了一种新颖的条件门控机制，在子图阅读器提取的与文本链接的实体表示的指导下，获得了句子的知识感知信息。这些句子的知识感知信息进一步被聚合以增强实体表示，以补充不完整的知识库。类似地，韩等人将句子的文本信息融合到实体表示中。在他们的设置中，每个句子被视为连接所有涉及实体的超边，一个文档可以被视为一个超图。基于超图卷积网络（HGCN）[95]，他们对文档中的句子进行编码，并将句子表示融合到句子链接的实体表示中。

用预训练的知识库嵌入来补充不完整的图。 在知识库补全（knowledge base completion ，KBC）任务中，知识库嵌入已经被采用来通过执行缺失链接预测来减轻知识库的稀疏性。受此启发，Apoorv等人利用了预训练的知识库嵌入来解决不完整的知识库问题，如图9右侧所示。具体而言，他们使用ComplEX方法预训练了知识库嵌入（即实体和关系嵌入），并通过一个三元组评分函数来预测答案，该函数将三元组（主题实体、问题、答案实体）作为输入。为了使问题适应原始的ComplEX评分函数，他们将问题的Roberta嵌入映射到相同维度的复数空间中。通过利用全局知识库的预训练知识，他们隐式地补充了不完整的问题特定图。

处理嘈杂的图上下文

由于问题特定图通常是使用启发式方法构建的，它可能引入冗余甚至与问题无关的嘈杂图上下文（包括实体和句子节点）。与只需要1跳推理的简单问题相比，为复杂问题构建的问题特定图更有可能包含嘈杂的图上下文。在这样的嘈杂图上进行推理对于复杂问题构成了巨大的挑战，同时也降低了模型训练的效率。

构建精确的问题特定图。一个直观的想法是构建一个相对小而精确的图以进行后续推理。为了实现这个目标，Sun等人提出了在主题实体和答案实体之间的最短路径监督下，通过迭代检索和推理过程构建异构图。在最近的研究中，Zhang等人提出了一个可训练的子图检索器（SR），用于检索相关的关系路径以进行后续推理。他们的实验结果证明，这样的精确图可以为基于信息检索的方法带来显著的性能提升。

在推理过程中过滤掉无关信息。除了为后续推理构建小而精确的图外，一些研究工作还提出在推理过程中过滤掉无关信息。注意力机制，对于消除无关特征非常有效，已被现有的基于信息检索的方法采用，以在推理过程中保留相关信息。类似地，Yasunaga等人采用了每个节点的预训练语言模型评分，条件是问题回答上下文作为相关性分数，以引导后续推理过程。

理解复杂语义

理解复杂问题是后续推理的前提。然而，复杂问题包含复合语义，并需要特定的知识（例如命名实体、序数推理）来回答。由于复杂问题具有这种固有属性，专为简单问题理解设计的方法可能不适用于复杂问题。

理解复合语义

基于信息检索的方法通常通过神经网络（例如，LSTM和GRU）直接将问题编码为低维向量来生成初始问题表示q。通过上述方法获得的静态推理指令（例如，q的最终隐藏状态）无法有效表示复杂问题的复合语义，这对于指导问题特定图上的推理构成了挑战。为了全面理解问题，一些研究在推理过程中动态更新推理指令。

使用注意力在不同语义上逐步指导。 为了使推理模型能够了解推理步骤，Qiu等人提出通过使用单层感知器将初始问题表示q转化为具有步骤感知性的表示。在获得具有步骤感知性的问题表示之后，进一步引入了注意力机制，以选择有用的信息生成指导向量。类似地，He等人提出使用动态注意力机制关注问题的不同部分。基于具有步骤感知性的问题表示和先前的推理指令，他们生成了对问题的标记的注意力分布，并更新了指导向量。

使用推理上下文信息更新指导信息。 除了通过注意力明确记录问题的分析部分之外，还有一些其他方法提出使用在推理过程中检索到的信息更新指导信息。一个典型的例子是生成明确的推理路径并使用生成的路径更新指导。Zhou等人设计了一个模型，该模型以当前的推理指导作为输入，然后从知识库中的所有关系中预测中间关系。在获得预测的关系后，模型将指导向量更新为：，其中减法是指从问题中省略已分析信息。因此，在后续推理过程中，更新后的推理指导可以保存问题的未分析部分。

与生成明确的推理路径不同，Xu等人和Miller等人采用了键-值记忆网络来实现类似的动态指导更新。具体来说，他们首先将包含一个主题实体作为主语的所有知识库事实包含到内存中。然后，他们索引键-值内存中的键和值，其中键是（主语，关系）对，值是相应的客体实体。通过进行键寻址过程，以找到最适合的键和相应值来指导。使用已寻址的键和值，他们将其表示与先前步骤的推理指导连接，并执行线性转换以获得更新后的推理指导，以指导下一跳推理。通过这种方式，推理指导将在内存中得到更新。 基于图神经网络的联合推理。除了指导更新，另一类研究通过基于图神经网络（GNN）的推理来解决这种复合语义。Sun等人提出了一种基于GNN的模型GraftNet，用于在异构信息源上推理复杂问题。通过迭代的GNN推理步骤，实体表示和推理指导依次得到更新。推理指导传达了主题实体的知识，它在推理过程中动态更新。尽管推理指导和图神经网络的迭代更新，Yasunaga等人提出了QAGNN模型，该模型通过单一图神经网络进行复杂问题的推理。他们在问题特定图中构建了一个额外的问答上下文节点，该节点与图中的所有其他节点相连。所有节点都使用预训练语言模型（PLM）统一编码为初始表示，并随着图神经网络推理而得到更新。

知识表示

除了组合语义之外，复杂问题可能还包含知识密集型的标记或短语（例如命名实体、序数约束），这会阻碍基于文本的语义理解。除了问题文本之外，外部知识被作为输入来帮助理解这些复杂问题。

注入有知识的实体表示。 在自然语言问题中，主题实体通常是命名实体，但这些实体通常不足以提供足够的信息来理解问题。为了处理这些命名实体，一些现有的工作提出了从知识库中获取的更具信息性的表示形式。作为一个典型例子，熊等人提出了从主题实体的图上下文中学到的知识表示，以在潜在空间中重新构建查询表示。通过一项消融研究，他们验证了将这种有知识的表示注入到问题表示中的有效性。类似的想法也被采用在增强知识的语言模型预训练中。 虽然可以使用流行的seq2seq文本生成框架生成自然答案，但直接从标记词汇表中生成命名实体仍然很困难。为了弥补这一差距，何等人首次提出了一种复制和检索机制，用于从问题特定图中的问题标记和实体的额外词汇生成自然答案。类似的想法也被引入了知识增强型语言模型预训练中，将关系事实输入到结构化记忆槽中，作为生成命名实体的额外词汇，并使用基于注意力的信息融合生成有知识的表示。

注入有知识的数值推理表示。 虽然已经提出了多种解决多跳推理的方法，但很少关注解决具有数值运算的复杂问题。为了赋予基于信息检索的方法数值推理能力，冯等人提出将数值属性（即数字的大小和序数属性）编码到实体表示中。首先，他们手动定义了一系列序数限定词（例如，第一个，最大的）来检测序数约束问题。对于这些检测到的问题，他们使用额外的数值属性三元组来丰富其问题特定图。通过使用预训练的数字编码模块对这些数值属性三元组进行编码，额外的数值嵌入可以用作模型无关的插件，用于基于信息检索的方法进行数值推理。

无法解释的推理

由于复杂问题通常按顺序查询多个事实，系统应该能够基于可追溯的推理过程在图上准确预测答案。尽管神经网络非常强大，但推理模块的黑盒风格使得推理过程难以解释，也难以引入用户交互以进一步改进。为了获得更可解释的推理过程，推理是通过多步中间预测来执行的。在推理过程中，KBQA模型生成一系列推理状态，尽管最终状态用于生成答案预测，但中间状态可能有助于生成中间预测（即匹配的关系或实体），以提高可解释性。更重要的是，中间预测使得通过用户交互更容易检测到虚假或错误的推理。

解释复杂推理与关系路径。现有研究采用不同的推理状态和推理模块设计来解释推理过程。具体而言，Zhou等人将多跳推理过程形式化为关系序列生成，并使用向量表示推理状态。对于每一步，指令向量和状态向量与关系候选进行匹配，生成关于知识库中所有关系的概率分布。然后，加权的关系表示被用来更新状态。通过重复这个过程，模型可以实现可解释的推理过程。受到上述工作的启发，Han等人提出了基于超图卷积网络（HGCN）的可解释模型，用于预测解释的关系路径。他们通过确定一组通过相同关系连接的实体构建了一个密集的超图，模拟了人类的跳跃关系推理。为了训练这两个模型，他们利用了黄金关系路径。然而，在大多数情况下，黄金关系路径的注释是不可用的，这使得他们的方法不适用于一般数据集。 解释复杂推理与中间实体。除了关系路径之外，一些研究工作在中间步骤预测与问题相关的实体，以解释多跳推理过程。Xu等人精心采用了键值记忆网络来实现可追溯的推理过程。在他们的工作中，状态被定义为值表示的加权和，其权重来自键-指令匹配。为了预测中间实体，他们的模型采用传统的基于信息检索的方法来给定查询对候选进行评分。由于虚假的长路径可能连接主题实体与知识库中的答案实体，在训练过程中，他们提出使用最终答案来监督中间实体的预测。这样的目标鼓励模型生成最短的推理路径。除了明确生成中间实体，He等人提出生成中间实体分布来指示推理过程。他们的实验结果还显示，这种中间监督信号可以有效减少虚假推理。

在弱监督信号下训练

与基于SP（Semantic Parsing）方法类似，对于基于信息检索（IR）的方法来说，在中间步骤没有任何注释的情况下推理出正确答案是困难的，因为模型无法在推理结束之前接收到任何反馈。研究发现，这种情况可能导致虚假推理。由于缺乏中间状态的监督信号，来自虚假推理的奖励可能会误导模型。 中间反馈的奖励塑形策略。 为了在弱监督信号下训练模型，Qiu等人将基于知识库的多跳推理过程形式化为在图上扩展推理路径的过程。基于编码的决策历史，策略网络利用了注意机制，以关注给定问题的不同部分对三元组选择的独特影响。为了缓解由弱监督信号引起的延迟和稀疏奖励问题，他们采用了奖励塑形策略来评估推理路径并提供中间奖励。具体来说，他们利用问题和关系路径之间的语义相似性来评估中间步骤的推理状态。

学习伪中间监督信号。 除了在中间步骤评估推理状态之外，一个更直观的想法是推断伪中间状态，并用这些推断的信号增强模型的训练。受到图上双向搜索算法的启发，He等人提出了使用双向推理过程学习和增强中间监督信号的方法。将实体分布作为中间步骤的适当监督信号，他们提出在师生框架下学习和利用这些信号。

增强监督信号的多任务学习。 虽然大多数现有工作都集中在增强中间步骤的监督信号上，但很少关注实体链接步骤。大多数现有工作使用现成的工具来定位问题中的主题实体，导致错误传播。为了在没有注释的情况下准确定位主题实体，Zhang等人提出了通过变分学习算法来训练实体链接模块，该模块共同建模主题实体识别和随后的知识库推理。他们还应用了具有方差减少技术的REINFORCE算法，以使系统具备端到端的可训练性。