结构引导提示(SGP)框架：通过探索文本的图结构来指导LLM进行多步推理

最新推荐文章于 2025-05-21 20:01:52 发布

AI Agent开发

最新推荐文章于 2025-05-21 20:01:52 发布

阅读量754

点赞数 29

文章标签：人工智能搜索引擎语言模型 AI大模型大模型 LLM

本文链接：https://blog.csdn.net/m0_56255097/article/details/143992277

版权

尽管大型语言模型在直接推理任务中表现优异，但在处理复杂的多步推理时常常遇到困难。这些困难主要源于自然语言中实体间复杂的关系以及语言表达的多样性。为了解决这些问题，本文提出了一种结构引导提示（Structure Guided Prompt）框架，该框架能够将非结构化文本转化为图结构数据，并指导LLMs通过特定策略导航图形以完成多步推理。实验结果证明，这一框架显著提升了LLMs的推理能力，使其在更广泛的自然语言场景中表现出色。

在这里插入图片描述

研究难点

实体关系复杂：自然语言中实体之间的关系非常复杂，这使得在较长的文本中保持清晰的推理链变得困难。
语言表达多样性：同一实体和关系可以用不同的术语和结构来表达，这增加了识别和建立信息之间联系的难度。
信息筛选挑战：大型语言模型（LLMs）在识别相关信息和忽略不相关信息方面存在挑战。
逻辑连接缺失：多步推理需要逻辑连接信息，但自然语言中往往缺乏显式的逻辑连接词，增加了构建准确推理路径的难度。

一、快速了解SGP框架

结构引导提示（Structure Guided Prompt）是一种新颖的零样本提示框架，旨在通过探索文本的图结构来提高LLMs的多步推理能力，用于解决LLMs在多步推理任务中的表现不佳问题。

1. SGP框架是如何将非结构化文本转换为Graph的？

结构引导提示框架通过三个阶段将非结构化文本转换为Graph。

第一个阶段是图构建：通过LLMs将非结构化文本分段，从给定的段落中提取事实并构建一个图，其中每个节点对应一个实体，边表示实体之间的关系。例如，在一个故事中，可以将“李明”和“珍妮”分别作为节点，并通过“朋友”这样的关系连接起来。
第二个阶段是任务特定的规划：根据任务类型，规划如何在图中导航以回答问题。规划策略是任务特定的，例如在关系预测任务中，通过追溯节点之间的路径来推断缺失的关系。
最后一个阶段是执行计划：通过制定的计划遍历图来找到答案。每一步都基于前一步的结果，逐步缩小范围，直到找到最终的答案。

2. SGP框架支持哪些任务类型的处理？

SGP框架在多种类型的任务中都表现出色，包括关系预测、动态KG中的实体预测、复杂实体预测、图排序、图查询和逻辑推理等。

关系预测： 在CLUTRR数据集上，结构引导提示框架显著提高了LLMs的性能，尤其是在关系路径较长的情况下，性能下降较少。
动态KG中的实体预测： 在BIG-bench-hard数据集的跟踪打乱对象任务中，结构引导提示框架相比0-CoT提高了146%的性能，显示出在动态KG中进行多步推理的显著优势。
复杂实体预测： 在HotpotQA数据集的桥接问题中，结构引导提示框架也提高了性能，但由于段落过长，提升幅度不如其他任务显著。
图排序： 在BIG-bench-hard数据集的逻辑推理任务中，结构引导提示框架进一步提高了性能，特别是在涉及的对象数量增加时。
图查询： 在BIG-bench-hard数据集的颜色对象和企鹅表中，结构引导提示框架也提高了性能，进一步证明了其在复杂查询中的有效性。
逻辑推理： 在Entailment Bank数据集中，结构引导提示框架并未一致提高性能，主要挑战在于逻辑推理需要精确的顺序构建逻辑图。

3. 动态知识图谱（Dynamic KG）中的实体预测任务上，如何提高LLMs的性能？

假设有一个故事，讲的是几个朋友交换礼物。每次交换都会改变谁拥有哪个礼物。结构引导提示框架通过以下步骤帮助大型语言模型（LLMs）更好地理解和预测这些变化：

提取事实：从故事中提取关键信息，比如“小明把书给了小红”。
构建知识图谱：根据提取的事实，构建一个初始的知识图谱，记录每个人拥有的礼物。例如，开始时小明有一本书，小红有一个玩具。
更新知识图谱：每当故事中发生一次交换，就更新知识图谱。例如，小明把书给了小红后，知识图谱显示小红现在有两样东西：书和玩具，而小明没有东西。
评估正确性：在每个时间点，检查知识图谱是否正确反映了故事中的变化。例如，确认小明确实不再有书，小红确实有了书。
最终预测：在故事结束时，根据更新后的知识图谱，确定每个人最终拥有的礼物。

通过这种方式，LLMs能够逐步跟踪故事中的变化，从而在动态环境中进行有效的多步推理。这种方法显著提高了LLMs的性能，例如：在BIG-bench-hard数据集的跟踪打乱对象任务中，结构引导提示框架相比零样本链式思维（0-CoT）提高了146%的性能。

二、SGP框架存在的缺陷及未来研究方向

尽管大型语言模型（LLMs）能够成功构建和导航知识图谱（KG），但在得出最终结论时仍会出错。例如，LLM可能正确地识别了“苹果”是一种水果，并且知道它通常生长在树上，但在最后一步却错误地认为“苹果”是动物。为了解决这个问题，未来的计划是引入另一个LLM来检查生成的内容是否一致，以减少错误。

此外，KG在表达自然语言的丰富性方面存在局限。比如，KG可能很难准确表达“他因为失恋而感到沮丧”这样的情感和上下文依赖的信息。因此，未来的研究需要探索更有效的方法来表示信息之间的关系，例如：

扩展KG：增加一元属性（如“颜色”、“形状”）和二元谓词（如“喜欢”、“讨厌”），以便更全面地描述事件和对象。
增强文本分析：提高检测文本中的蕴含（如“他没去”意味着“他不在那里”）、矛盾（如“他是学生，但他在工作”）和合取（如“他既是老师又是作家”）的能力。
整合NLP技术：结合命名实体识别（如识别“北京”是城市）、依存句法分析（如分析句子中词语之间的关系）和实体解析（如确定不同句子中的“他”指的是同一个人），以更好地捕捉和澄清文本中的复杂关系。

通过这些改进，可以提升LLMs在处理自然语言时的准确性和推理能力。