Instructing Large Language Model in Multi-Step Reasoning by Exploring Graph Structure of the Text

本文是LLM系列文章，针对《Structure Guided Prompt: Instructing Large Language Model in
Multi

摘要

尽管大型语言模型（LLM）擅长处理简单的推理任务，但由于一系列因素，当面临更复杂的多步骤推理时，它们经常会遇到困难。首先，自然语言通常包含实体之间的复杂关系，这使得在更长的时间内保持清晰的推理链具有挑战性。其次，丰富的语言多样性意味着相同的实体和关系可以使用不同的术语和结构来表达，这使识别和建立多条信息之间的联系的任务变得复杂。图提供了一种有效的解决方案来表示富含关系信息的数据，并捕获实体之间的长期依赖关系。为了利用图的潜力，我们介绍了结构引导提示，这是一种创新的三阶段任务-认知提示框架，旨在提高零样本环境中LLM的多步骤推理能力。该框架通过LLM将非结构化文本显式地转换为图，并指示他们使用特定于任务的策略来制定响应来导航该图。通过有效地组织信息和引导导航，LLM能够提供更准确和上下文感知的响应。我们的实验表明，该框架显著增强了LLM的推理能力，使其能够在更广泛的自然语言场景中表现出色。

1 引言

2 相关工作

3 框架：结构引导提示