【AI论文】MARS：融入苏格拉底引导的多代理框架实现自动化提示优化

摘要：大型语言模型的基本问答格式涉及输入提示并接收响应，而提示的质量直接影响响应的有效性。自动化提示优化（APO）旨在摆脱人工设计提示的认知偏差，并探索更广泛的提示设计空间。然而，现有的APO方法存在固定模板灵活性有限和提示空间搜索效率低下等关键问题。为此，我们提出了一种融入苏格拉底引导的多代理框架（MARS），该框架利用多代理融合技术进行自动规划，实现逐步连续优化和评估。具体而言，MARS包含七个具有不同功能的代理，它们自主使用规划器制定优化路径，以确保灵活性。此外，它还采用教师-评论家-学生苏格拉底对话模式，在有效搜索的同时迭代优化提示。我们在多个数据集上进行了大量实验，以验证我们方法的有效性，并进行了额外的分析实验，以评估模型的进步以及可解释性。Huggingface链接：Paper page，论文链接：2503.16874

研究背景和目的

研究背景

随着大型语言模型（LLMs）在自然语言处理领域的广泛应用，如何通过优化提示（prompt）来提高LLMs的性能成为了一个重要研究方向。LLMs的基本问答格式涉及输入提示并接收响应，而提示的质量直接影响了响应的有效性。然而，人工设计提示往往存在认知偏差，且难以应对多样化的任务需求。自动化提示优化（Automated Prompt Optimization, APO）旨在通过算法自动找到最佳的提示，以摆脱人工设计提示的限制，并探索更广泛的提示设计空间。

尽管现有的APO方法在一定程度上提高了LLMs的性能，但它们仍面临诸多挑战。首先，固定模板的灵活性有限，难以适应多样化的任务需求。其次，提示空间的搜索效率低下，导致难以找到全局最优的提示。这些问题限制了现有APO方法的有效性和泛化能力。

因此，研究一种更加灵活、高效的APO方法具有重要意义。通过引入多代理技术和苏格拉底引导的对话模式，我们有望解决现有APO方法存在的问题，提高LLMs在多样化任务上的性能。

研究目的

本研究旨在提出一种融入苏格拉底引导的多代理框架（MARS），以实现自动化提示优化。具体研究目的如下：

1. 提出一种多代理框架：构建一个包含多个具有不同功能的代理的多代理系统，通过代理之间的协作实现自动化提示优化。
2. 引入苏格拉底引导的对话模式：采用教师-评论家-学生苏格拉底对话模式，通过迭代提问和反馈来优化提示，提高搜索效率和提示质量。
3. 验证方法的有效性：在多个数据集上进行实验，验证MARS框架在自动化提示优化任务上的有效性。
4. 评估模型的进步和可解释性：通过额外的分析实验，评估MARS框架在提高LLMs性能和可解释性方面的优势。

研究方法

方法概述

本研究提出了一种融入苏格拉底引导的多代理框架（MARS）用于自动化提示优化。MARS框架包含七个具有不同功能的代理，它们通过协作实现提示的自动化优化。具体方法如下：

1. 多代理框架构建：

   • Manager代理：负责管理和调度其他代理，确保整个优化过程的顺利进行。
   • UserProxy代理：负责接收用户输入和任务描述，为其他代理提供必要的信息支持。
   • Planner代理：根据任务需求制定优化路径，为后续的优化过程提供指导。
   • Teacher代理：采用苏格拉底提问方式，引导学生代理进行思考，逐步优化提示。
   • Critic代理：评估教师代理提问的质量，并提供反馈以指导学生代理进行改进。
   • Student代理：在教师代理的引导下，逐步优化提示，并生成最终的优化结果。
   • Target代理：负责评估优化后的提示在目标任务上的性能，确保优化效果的有效性。

2. 苏格拉底引导的对话模式：

   • 教师提问：教师代理根据学生代理当前的提示和反馈，提出具有启发性的问题，引导学生代理进行深入思考。
   • 评论家评估：评论家代理评估教师代理提问的质量，并提供反馈以指导学生代理进行改进。如果提问不符合要求，评论家代理将提供修改建议，教师代理将根据建议调整提问。
   • 学生优化：在学生代理的引导下，逐步优化提示，并生成新的提示版本。然后，学生代理将新的提示版本提交给评论家代理进行评估。
   • 迭代优化：通过多次迭代提问、评估和优化过程，逐步找到最优的提示。

3. 优化路径制定：

   • Planner代理根据任务需求制定优化路径，明确每个阶段的优化目标和步骤。优化路径将指导后续的提问、评估和优化过程。

4. 提示优化与评估：

   • 在优化过程中，Student代理在教师代理的引导下逐步优化提示。每次优化后，Target代理将评估优化后的提示在目标任务上的性能。
   • 根据评估结果，Manager代理将决定是否需要继续优化。如果需要继续优化，Planner代理将调整优化路径，并启动下一轮的优化过程。

实验设置

1. 数据集：

   • 本研究在多个通用任务和领域特定任务的数据集上进行了实验，包括BBH、MMLU、C-Eval、GSM8K和LSAT-AR等。

2. 基线方法：

   • 本研究将MARS框架与多种基线方法进行了比较，包括原始提示、CoT提示、APE、ProTeGi、OPRO和PE2等。

3. 评价指标：

   • 本研究采用准确率作为主要的评价指标，以全面评估不同方法在各种任务场景下的性能。

研究结果

主要发现

1. 性能提升：

   • 在通用任务上，MARS框架显著优于所有基线方法，实现了6.04%的性能提升。与原始提示和CoT提示相比，MARS框架分别实现了20.16%和15.32%的性能提升。
   • 在领域特定任务上，MARS框架也表现出色，超越了所有基线方法，实现了6.42%的性能提升。与原始提示和CoT提示相比，MARS框架分别实现了25.31%和20.72%的性能提升。

2. 收敛速度：

   • MARS框架在优化过程中表现出较快的收敛速度。在多个任务上，MARS框架在较少的迭代次数内就找到了较优的提示，显著降低了资源消耗。

3. 可解释性：

   • MARS框架提供了高度的可解释性。通过优化路径的制定和苏格拉底引导的对话模式，用户可以清晰地了解优化过程的每个步骤和决策依据。

4. 泛化能力：

   • MARS框架在不同的任务和数据集上均表现出良好的泛化能力。这表明MARS框架能够适应多样化的任务需求，并具有较高的鲁棒性。

研究局限

尽管MARS框架在自动化提示优化任务上取得了显著的效果，但仍存在一些局限性：

1. 任务类型普适性：

   • 目前，MARS框架主要针对的是问答任务。对于其他类型的任务（如文本生成、摘要等），MARS框架的适用性和效果尚需进一步验证。

2. 环境反馈融入：

   • MARS框架在优化过程中主要依赖于内部代理之间的协作和对话。如何更好地融入环境反馈，提高系统的交互性和错误纠正能力，是未来的一个重要研究方向。

3. 更通用的提示表示：

   • 目前，MARS框架主要采用的是文本形式的提示。如何设计更通用的提示表示形式，以适应不同的任务和数据集，是未来的另一个重要研究方向。

未来研究方向

针对上述研究局限，未来的研究可以从以下几个方面展开：

1. 拓展任务类型：

   • 探索MARS框架在其他类型任务（如文本生成、摘要等）上的适用性和效果，以验证其普适性和鲁棒性。

2. 融入环境反馈：

   • 研究如何更好地融入环境反馈，提高MARS框架的交互性和错误纠正能力。例如，可以引入用户反馈机制，让用户参与到优化过程中来，提供实时的反馈和指导。

3. 设计更通用的提示表示：

   • 研究如何设计更通用的提示表示形式，以适应不同的任务和数据集。例如，可以采用结构化的提示表示形式，以更好地描述任务需求和约束条件。

4. 优化算法改进：

   • 进一步研究优化算法，提高MARS框架在优化过程中的效率和效果。例如，可以引入更先进的搜索算法和机器学习技术，以加速优化过程并找到更优的提示。

5. 多模态融合：

   • 探索将MARS框架与多模态技术相结合的可能性，以处理更复杂的任务和数据集。例如，可以引入视觉和听觉信息来丰富提示内容，提高LLMs在多媒体任务上的性能。