【论文浅尝】Efficient Question-Answering with StrategicMulti-Model Collaboration on Knowledge Graphs

最新推荐文章于 2024-10-02 00:23:27 发布

是饿梦啊

最新推荐文章于 2024-10-02 00:23:27 发布

阅读量622

点赞数 15

文章标签：知识图谱人工智能

本文链接：https://blog.csdn.net/qq_47982709/article/details/139660431

版权

Abstract

虽然大型语言模型(llm)在自然语言处理方面表现出了卓越的能力，但它们在涉及知识图(KGs)的复杂、多步骤推理任务中表现得很吃力。现有的集成llm和KGs的方法要么没有充分利用llm的推理能力，要么由于紧密耦合而导致计算成本过高。为了解决这些限制，我们提出了一个名为EffiQA的新型协作框架，它可以通过迭代范式在性能和效率之间取得平衡。EffiQA包括三个阶段:全局规划、高效KG探索、自我反思。具体来说，EffiQA利用法学硕士的常识能力，通过全局规划探索潜在的推理途径。然后，它将语义修剪卸载到一个小插件模型中，以实现高效的KG探索。最后，将勘探结果反馈给llm进行自我反思，进一步提高全局规划和高效的KG勘探。在多个KBQA基准上的经验证据表明EffiQA的有效性，实现了推理精度和计算成本之间的最佳平衡。我们希望提出的新框架将通过重新定义法学硕士和法学硕士的整合，为高效、知识密集型的查询铺平道路，促进未来基于知识的问答研究。

（a）松耦合或仅限LLM。

（b）像ToG这样的紧耦合，大语言模型用于在每个推理步骤中探索知识图谱。

（c）中等耦合，其中大语言模型用于基于问题和对探索结果的自我反思的全局规划，而小型插件模型用于KG上的探索。

Model Framework

EffiQA 框架由迭代执行的三个主要组件组成：全局规划、高效知识图谱探索和自我反思。在全局规划阶段，利用大语言模型将输入问题分解为语义连贯的轨迹并生成探索指令，有助于探索潜在的推理路径并将搜索空间扩展到知识图谱的结构限制之外。然后，采用一个小型插件模型进行高效的知识图谱探索，借助探索指令对知识图谱进行广度优先搜索和语义剪枝。在自我反思阶段，大语言模型将反思探索结果，改进全局规划和知识图谱探索，进一步完善。

Global Planning

在这个阶段，大语言模型将根据给定的问题和初始实体给出一组指令来指导插件模型。

Query Decomposition

LLM从问题中识别主主题实体，随后将问题被分解为一组分层子问题，每个都伴随着特定的状语限定词，用于细化不同层次的搜索。某些状语限定词限制一般只适用于推理路径末端的实体。在分解问题的同时，LLM还预测了知识图推理的潜在深度。

Instruction Generation and Optimization

大语言模型模拟每个子问题和相应限定符的潜在相应。同时，为小型语言模型（插件模型）生成导航指令。使插件模型能够有效地遍历和检索知识图中的相关数据。针对子问题生成“forwardsearch”指令，针对限定词设计“adverbial qualifier”指令。

Efficient KG exploration

当LLM回答一个问题时，答案的内容可能不准确，但会生成与答案类型相同或语义相似的模拟答案。在此基础上，我们引入一种查询策略，该策略结合了知识图中的约束搜索策略，并通过基于模拟答案的语义修剪进行了增强。LLM通过全局规划给出指令，并通过高效的KG勘探执行。

Initialization and Systematic Exploration

定义知识图为G = (E, R)，其中E表示实体，R任任E × E表示有向关系。搜索从实体 $e_0$ 开始。BFS开始为Queue←{ $e_0$ }。

在BFS过程中，队列中当前的每个实体都要根据其不同的关系进行评估。从每个已识别关系的尾部选择一个代表性实体，使用模拟答案进行语义匹配处理。该过程使用知识图的实体描述和三元组信息提供的上下文以及llm生成的子问题的模拟上下文。

Semantic Matching and Graph Traversal

我们使用上下文相关的细粒度实体类型标记方法,该方法的简洁和层次结构平衡了语义匹配所需的准确性和实体分类的复杂性。

如图所示，即使由于模型训练数据的时间限制而给出了不准确的指令内容，插件模型在执行的指令时，仍然允许搜索概念上一致的前提。接下来，我们将通过关注分类相关性而不是数据准确性来展示语义匹配过程在时间的不准确性方面的鲁棒性。

探索每个关系使用不同的代表实体来实现对整个图的全面搜索，本质上使用了先验知识:与同一实体具有相同关系的实体属于同一类别，防止插件模型语义匹配的效率被太多相同类型的相邻实体降低。该策略还降低了路径爆炸和实体过度分类的风险。

同一关系中的其他实体直接分配其代表实体的类别以保持一致性，其形式表达为:如果 $A 'rep$ 与 $Ai$ 匹配，则探索扩展到包括由 $r_i$ 链接的所有实体，由阈值控制以防止过度分支。如果没有匹配，则修剪关系r以优化搜索过程。此外，检索路径上的每个实体都要检查其状语限定词。这个过程需要探索知识图谱中一跳内的节点，与全局规划阶段产生的状语限定词进行语义匹配，并将匹配的状语限定词与实体关联起来，以解决复杂结构场景中状语限定词对探索策略的影响。

Result compilation and problem collection

一旦达到由全局规划中的子问题数量设定的预定义推理深度，搜索结束并收集所有符合条件的路径。在路径探索过程中，不可避免地会出现插件模型无法解决的问题。例如，插件模型无法根据指令匹配有效的路径，或者存在太多相同类型的语义匹配实体，下一步的探索成本太高。问题实体的子图会会根据一定策略，通过高效的KG探索所收集，并与搜索问题一起移交给后续步骤。

Self-reflection

Detailed Answer Aggregation

在答案聚合阶段，LLM综合来自高效KG探索的结果，确保最终答案与上下文相关并满足查询的精确规范。这个阶段包括对每个推理路径的详细分析。检查路径中的每个节点，以确保它符合其各自的状语限定词 $Ri$ ，从而在原始查询的上下文中验证每个推理步骤的合法性。

对于与状语限定词对齐的每个推理路径，LLM评估终端节点上的实体，以确保它们满足最终子问题的状语限定词 $Q_{final}$ 和初始查询的更广泛上下文所施加的约束。这种双层验证确保所选实体在其路径中逻辑上是一致的，并直接处理查询。

当涉及多个初始实体 $E_0$ 时，聚合过程独立地验证来自每个实体的路径。然后，这些路径根据集合理论原理相交，这表明跨多个集合或路径的公共元素可能是跨各种逻辑结构最有效的。这个交集强调在不同的推理轨迹中始终满足查询标准的实体，从而增强最终答案的鲁棒性。

Strategic Replanning and Iteration

为了解决类似实体过多、剪枝效果不足以及大型模型在识别满足特定条件的路径时面临的挑战等问题，在探索路径剪枝的同时，插件模型还会收集插件模型无法通过我们的策略解决的路径探索问题，并将其绑定到相应的推理路径上。在答案聚合阶段，LLM会标记出有问题的路径，以便进行全面的重新评估和重新规划 $Rplan$ 。