SymAgent：一种神经符号自学习代理框架，用于知识图谱上的复杂推理

最新推荐文章于 2025-04-26 19:32:25 发布

Python编程杰哥

最新推荐文章于 2025-04-26 19:32:25 发布

阅读量759

点赞数 14

文章标签：学习知识图谱人工智能计算机视觉深度学习算法迁移学习

本文链接：https://blog.csdn.net/xx_nm98/article/details/146325036

版权

在这里插入图片描述

摘要

最近的进展表明，大型语言模型（LLMs）在解决复杂推理问题时容易出现幻觉，导致错误结果。为解决这一问题，研究人员结合知识图谱（KGs）以提高LLMs的推理能力。然而，现有方法面临两个限制：1）它们通常假设问题的所有答案都包含在KGs中，忽略了KGs的不完整性问题；2）它们将KG视为静态的知识库，忽略了KGs中固有的隐含逻辑推理结构。本文介绍了SymAgent，一种创新的神经符号代理框架，实现了KGs与LLMs之间的协同增强。我们将KGs概念化为动态环境，并将复杂推理任务转化为多步骤交互过程，使KGs能够深入参与推理过程。SymAgent由两个模块组成：代理规划器和代理执行器。代理规划器利用大型语言模型（LLM）的归纳推理能力从知识图谱（KGs）中提取符号规则，指导高效的问题分解。代理执行器自主调用预定义的动作工具来整合来自知识图谱和外部文档的信息，解决知识图谱不完整的问题。此外，我们设计了一个自学习框架，包括在线探索和离线迭代策略更新阶段，使代理能够自动合成推理轨迹并提高性能。实验结果显示，使用较弱LLM（即7B系列）的SymAgent与各种强大的基线相比，表现出更好或相当的性能。

进一步分析显示，我们的代理可以识别缺失的三元组，促进知识图谱的自动更新。

核心速览

研究背景

1.研究问题：这篇文章要解决的问题是大型语言模型（LLMs）在处理复杂推理问题时容易出现幻觉，导致错误结果。为了应对这一问题，研究人员将知识图谱（KGs）引入到LLMs中以提高推理能力。然而，现有方法存在两个局限性：一是假设KG中的所有答案都包含在KG中，忽略了KG的不完整性问题；二是将KG视为静态的知识库，忽视了KG中隐含的逻辑推理结构。

2.研究难点：该问题的研究难点包括：语义差距、KG的不完整性以及有限监督下的学习。具体来说，需要将KG的符号结构与LLMs的神经表示对齐，处理KG信息不足的情况，并在仅有自然语言输入输出对的情况下解锁LLMs的全部推理潜力。

3.相关工作：该问题的研究相关工作有：语义解析方法和检索增强方法。语义解析方法将问题解析为可执行的正式语言（如SPARQL）并在KG上进行精确查询以获得答案。检索增强方法从KG中检索相关事实三元组并将其输入到LLMs中以帮助生成最终答案。

研究方法

这篇论文提出了SymAgent，一种创新的神经符号代理框架，用于解决复杂推理问题。具体来说，

1.Agent-Planner模块：该模块利用LLMs的归纳推理能力从KG中提取符号规则，指导高效的问题分解。具体步骤如下：

使用BM25从训练集中检索出一组与问题结构相似的种子问题。
对每个种子问题，采用广度优先搜索（BFS）在KG中采样一组闭路径。
将这些闭路径泛化为符号规则，并作为提示输入到SymAgent中以生成适当的规则体。

2.Agent-Executor模块：该模块通过调用预定义的动作工具集来整合KG和外部文档的信息，解决KG不完整性的问题。动作空间包括以下功能工具：

getReasoningPath：接收子问题并返回潜在的象征规则。
wikiSearch：在KG信息不足时从维基百科或互联网检索相关文档。
extractTriples：从检索到的文档中提取与当前查询实体和关系相关的三元组。
searchNeighbor：返回KG中特定实体在给定关系下的邻居。
finish：返回最终答案列表，表示推理过程结束。

3.自学习框架：为了解决缺乏注释的推理数据问题，提出了一个自学习框架，包括在线探索和离线迭代策略更新两个阶段。具体步骤如下：

在线探索阶段：基础代理通过与环境的自主交互合成一组初始轨迹，并使用基于结果的奖励机制进行优化。
离线迭代策略更新阶段：在初始轨迹集上进行微调，并通过重复的自我探索和轨迹合并过程不断提高性能，直到验证集上的性能提升可以忽略不计。

实验设计
1.数据集：实验采用了三个广泛使用的知识图谱问答数据集：WebQuestionSP（WebQSP）、Complex Web Questions（CWQ）和MetaQA-3hop。为了模拟不完整的KG，采用广度优先搜索方法从问题实体到答案实体提取路径，并随机移除一些三元组。

2.基线方法：评估了SymAgent与三种不同的LLM骨干模型（Mistral-7B、LLaMA2-7B和Qwen2-7B）的性能比较。基线方法包括基于提示的方法（CoT和ReAct）以及强基线方法（ToG和RoG）。

3.实现细节：使用LoRA进行微调，初始学习率为2e-5，序列长度为4096，训练轮数为3，批量大小为4。推理过程中使用vLLM加速推理。所有训练和推理实验均在4个NVIDIA A800 80G GPU上进行。

结果与分析
1.性能比较：实验结果表明，SymAgent在所有数据集上均表现出优越的性能。与基线方法相比，SymAgent在不同LLM骨干模型上均实现了显著的提升。例如，Qwen2-7B骨干模型的Hits@1提高了37.19%，Accuracy提高了16.87%，F1得分提高了30.17%。

2.消融研究：通过消融实验分析了各个组件的贡献。结果表明，规划模块、执行模块和自学习框架都是必不可少的，缺少任何一个组件都会对性能产生显著影响。

3.自学习框架分析：自学习框架的迭代次数对模型性能有显著影响。自我细化和启发式合并的协同作用显著提高了模型性能。与从教师模型蒸馏的方法相比，自学习框架在所有数据集上均表现更好。

4.提取三元组的质量：通过增强KG并测试检索增强生成模型RoG的性能，验证了所提取三元组的质量足以集成到现有的KG中。

5.错误分析：错误分析表明，WebQSP的错误主要是推理错误（94.34%），而CWQ和MetaQA-3hop的错误分布更为多样化，显著存在超出最大步数（EMS）的错误，表明未来在这些领域有改进的空间。

总体结论

这篇论文提出了SymAgent，一种自动代理框架，通过结合LLMs和结构化知识进行复杂推理。SymAgent利用KG中的象征规则指导问题分解，自动调用动作工具解决KG不完整性问题，并采用自学习框架进行轨迹合成和持续改进。广泛的实验证明了SymAgent在复杂推理场景中的优越性，展示了促进KG和LLMs相互增强的潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述