CoT我知道，复杂推理下多步骤任务的Prompt怎么优化？MIT、哈佛重磅 | PROMST_prompt optimization in multi-step tasks (promst)-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/141367421

在人工智能领域，Chain-of-Thought (CoT) 提示已成为提升语言模型推理能力的利器。Google团队的这篇论文两年已被各种研究引用近5900次，可以这么说，你不了解CoT也大概率不会太理解Prompt，CoT真的是你不能忽视的重点。然而，对于复杂的多步骤任务，如何有效优化这种有多步骤复杂任务的CoT类型的提示词仍是一个巨大挑战。

近日，来自MIT、哈佛大学和IBM Watson AI实验室的研究者提出了PROMST (PRompt Optimization in Multi-Step Tasks)，这是首个专门针对多步骤复杂任务的自动化提示优化框架。本文将和您一起深入解析PROMST的核心原理，探讨其如何突破现有方法的局限，可能可以给大家提供一些新的优化思路。

01.多步骤任务提示优化的困境

1.1 结构化Prompt的复杂性

多步骤任务通常需要结构化的提示，包含任务描述、约束条件、执行步骤等多个组成部分。而且具体的指令可能限制模型的问题解决能力，而过于模糊的指令则可能导致模型行为不一致或偏离任务目标。因为需要同时考虑多个相互关联的元素，改变一个维度可能会影响其他多个维度，导致连锁反应，这种复杂结构使得结构化提示优化变得异常困难。

1.2 错误累积效应

在多步骤任务中，前一步的错误可能会导致后续步骤的失败，形成错误累积效应。这使得仅基于最终结果的优化方法难以定位和解决问题的根源。在论文中示例的机器人路径规划中，一个稍微偏离最优路径的决策可能导致后续所有步骤都不够理想，最终显著增加完成任务所需的总步数。

1.3 搜索空间爆炸

提示优化本质上是在一个庞大的搜索空间中寻找最优解。对于多步骤任务，这个搜索空间呈指数级增长，传统的优化方法往往难以应对。例如，如果每个步骤有5种不同的表述方式，一个10步骤的任务就有510种可能的提示组合，人工优化显得很不现实。

02.PROMST: 多步骤优化的新基准

2.1 整体架构设计

PROMST采用了一种新颖的架构设计，如上图所示。它包括以下关键组件:

- 人工设计的初始提示

- TaskLLM: 执行多步骤任务的语言模型

- PromptLLM: 负责生成新的候选提示

- 人工设计的评分函数

- 人工设计的反馈规则

- 微调的评分预测模型

这种设计巧妙地结合了人工智能与人类专业知识，形成了一个闭环的优化系统。

2.2 策略性搜索算法

PROMST采用了一种高效的策略性搜索算法MCTS，您也可以采用MDP或者Bayesian等高级算法，在庞大的提示空间中快速定位潜在的优质候选项。具体而言:

- 使用PromptLLM生成多个候选提示

- 应用微调的评分预测模型进行初筛

- 选择高分候选项进行实际评估

- 根据评估结果更新搜索策略

这种方法大大提高了搜索效率，使得在有限的计算资源下探索更广阔的提示空间成为可能。

2.3 人机协作的反馈机制

PROMST引入了一种新颖的人机协作反馈机制:

- 人工设计的反馈规则自动捕获常见错误类型

- TaskLLM执行过程中的错误信息被归类和汇总

- PromptLLM根据汇总的错误信息生成改进建议

- 人类专家可以审核并调整反馈规则

这种机制不仅提高了优化效率，还保证了优化过程的可解释性和可控性。当然在实际操作中你也可以用代码自动化完成。

03.PROMST的核心原理

3.1 动态评分函数

PROMST采用了一种动态评分函数，能够根据任务的不同阶段和特点自适应调整评分标准。例如，在任务初期可能更注重探索性，而在后期则更关注精确性。这种动态调整使得优化过程更加灵活和有效。

3.2 错误类型分类与定向优化

PROMST将常见错误类型进行了系统化分类，如语法错误、逻辑错误、步骤遗漏等。针对每种错误类型，都有专门的优化策略。这种定向优化方法能够更精准地解决特定问题，而不是盲目地进行全局修改。优化策略取决于你的初始Prompt，如果你的初始Prompt精心设计，有很好的表现，

3.3 提示演化与遗传算法

PROMST借鉴了遗传算法的思想，将优质提示的"基因"进行重组和变异，生成新一代的候选提示。这种演化方法既保留了优秀提示的核心特征，又引入了适度的随机性，有利于跳出局部最优解。

04.PROMST的实验结果与分析

4.1 多任务性能提升

研究者在8个具有代表性的多步骤任务上评估了PROMST的性能，包括BoxNet、WareHouse、GridWorld等。如表1所示，PROMST在绝大多数任务上都取得了最佳成绩，平均性能提升幅度达到171%。

4.2 与现有方法的对比

PROMST与其他先进的六种自动化提示优化方法(如APE、APO)进行了对比。结果显示，PROMST在各种任务和模型组合下都展现出了显著优势。特别是在使用GPT-3.5作为TaskLLM时，PROMST的优势更为明显，这说明该方法对于能力较弱的模型具有更好的提升效果。

4.3 评分预测模型的有效性

研究者还专门分析了评分预测模型的作用。如图上图所示，使用评分预测模型后，优化过程收敛速度更快，最终性能也更高。这验证了PROMST中评分预测模型的重要性。

05.PROMST究竟该怎么用

5.1 初始提示的重要性

尽管PROMST能够自动优化提示，但一个好的初始提示仍然很重要。建议Prompt工程师在设计初始提示时:

- 清晰描述任务目标和约束条件

- 提供典型的错误示例和正确示例

- 考虑任务的关键步骤和潜在陷阱

5.2 反馈规则的设计技巧

有效的反馈规则是PROMST成功的关键。你可以根据Prompt让高级模型帮你生成，以下是一些设计技巧:

- 覆盖常见错误类型，如语法错误、逻辑错误、步骤遗漏等

- 使用明确的触发条件，避免模糊不清的规则

- 提供具体的改进建议，而不是笼统的评价

- 定期review和更新规则，适应新出现的错误模式

5.3 计算资源与优化效率的平衡

PROMST的优化过程可能比较耗时。如果在网页上优化需要你用两个模型交叉进行，一个充当PormptLLM生辰候选提示，另一个充当TaskLLM执行优化。这样很浪费时间，但也能得到不错的优化效果，特别是对于复杂任务。为了在有限资源下获得最佳效果，您可以考虑:

- 使用较小的模型进行初步优化，再用大模型微调

- 采用分阶段优化策略，先优化关键步骤，再细化次要部分

- 利用并行计算加速评估过程

网页版因为SYSTEM PROMPT的存在，优化效果有限，明显会逊色于代码环境下的效果。

我们还是优化上一篇写小说开头的那条Prompt为例：

代码环境是基于PROMST的核心设计的，用了两个国产模型。在此感谢群友刘先生推荐了跃阶星辰stepfun大模型，我用step-1-8k作为PromptLLM，Deepseek的大模型deepseek-chat作为TaskLLM，时间原因还没有进行交叉测试。

我发现优化过程中Prompt示例池中出现了一些不错的句子：

**示例池**：  
   - 提供一些与身份认同主题相关的经典开场示例，如《麦田守望者》中的"如果你真的想听我说，你可能会想知道我在哪里出生，我悲惨的童年是如何度过的，我父母在生我之前是做什么的，以及所有这些大卫·科波菲尔式的废话。"  
   - 提供一些与身份认同主题相关的对话开场示例，如《饥饿游戏》中的"我在黑暗中醒来，不记得自己是如何入睡的。"  
   - 提供一些与身份认同主题相关的行动开场示例，如《发条橙》中的"我叫亚历克斯，我有病。"  
   - 提供一些与身份认同主题相关的内心独白开场示例，如《了不起的盖茨比》中的"当我年轻而愚蠢的时候，我父亲给了我一些忠告，我至今仍然牢记在心。"  
   - 提供一些与身份认同主题相关的倒叙开场示例，如《百年孤独》中的"许多年后，当奥雷利亚诺上校站在行刑队面前时，他会回想起父亲带他去见识冰块的那个遥远的下午。"

_**--- 使用优化后提示生成的最终小说开头 ---**_  
在那个被霓虹灯和全息广告淹没的夜晚，艾丽娅站在摩天大楼的阴影下，她的心跳与城市的脉搏同步。她的手指轻轻触碰着脸上的虚拟面具，那是一个她从未真正认同过的身份。艾丽娅，一个在数据流中迷失的灵魂，今晚，她决定撕下那层虚假的表皮，寻找真正的自己。  
  
"你确定要这么做吗？" 一个声音从她的智能耳环中传来，那是她的AI助手，一个永远冷静、永远理性的存在。  
  
艾丽娅深吸一口气，城市的喧嚣在她耳边渐渐模糊，她闭上眼睛，感受着内心的颤动。"是的，我确定。" 她的声音坚定而清晰，仿佛是在向整个世界宣告。  
  
她迈出一步，踏入了那片由光和影编织的迷宫。每一步都像是在剥离一层层的伪装，直到她站在城市的中心，面对着那个巨大的全息屏幕，屏幕上正播放着她自己的虚拟形象，一个她从未真正认识的自己。  
  
"我是谁？" 艾丽娅低语，她的声音在空旷的街道上回荡，像是在向这个冷漠的都市发出挑战。  
  
突然，一阵刺耳的警报声划破了夜空，红色的警示灯在四周闪烁。艾丽娅转身，看到一群身穿制服的执法机器人正向她逼近，它们的眼睛闪烁着冷酷的红光。  
  
"身份验证失败，立即停止行动。" 机器人的合成声音冰冷而无情。  
  
艾丽娅握紧了拳头，她的心跳加速，血液在血管中沸腾。她知道，这一刻，她要么选择逃避，继续隐藏在虚拟的面具下，要么勇敢地面对，揭开真正的自我。  
  
"我是艾丽娅，不是你们所定义的任何标签。" 她大声宣告，声音中充满了力量和决心。  
  
她转身，迎着机器人的红光，迈出了那一步，踏入了未知的未来。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述