全面思考，从目标到起点规划，提升LLM规划能力4%至24% |普林斯顿最新

本文链接：https://blog.csdn.net/Python_cocola/article/details/143634331

在Prompt工程领域，规划任务一直以来都是一个巨大的挑战，因为这要求大语言模型（LLMs）不仅能够理解自然语言，还能有效执行复杂推理和应对长时间跨度的操作。规划能力对于大语言模型的应用至关重要，它直接决定了AI系统能否顺利完成多步推理、动态调整和复杂决策等任务。

在开发AI产品时，Prompt工程师经常面临如何让模型高效实现特定目标的问题，规划能力的优劣直接影响模型的整体表现。一个强大的规划系统可以帮助AI理解初始状态、目标状态与中间步骤之间的关系，从而生成准确且高效的解决方案。

普林斯顿大学的研究者们最新的成果为我们展示了一个新奇的角度：通过逆向思维来提升LLMs的规划能力。研究者巧妙地利用逆向规划策略来克服大语言模型在前向规划中的固有缺陷，从而显著提高了任务成功率。这一成果为Prompt工程师在实际开发AI产品时提供了全新的灵感与技术支持。

为什么研究向后规划?

在大模型规划领域,绝大多数研究都关注"向前规划" - 即从起点出发到达目标。但普林斯顿大学最新研究发现,在许多规划场景中存在显著的不对称性 - 从目标开始向起点规划,反而更容易找到解决方案。

考虑一个具体场景:机器人要通过一条长走廊到达卧室。如果从终点(卧室)开始规划,首先就能确定必须经过走廊这个"瓶颈",搜索空间大幅减少。相反,如果从起点开始,可能的路径会迅速扩散,增加了搜索难度。

这种"瓶颈效应"在很多领域都存在。比如数学证明,从定理结论出发往往比从前提开始更容易找到证明路径,因为结论通常和定理陈述有更直接的关联。

1. 前向与后向思维的对立与统一

1.1 LLMs 的前向规划问题

在大多数规划任务中，我们通常采取前向规划的策略，即从初始状态出发，逐步推理出达到目标状态的路径。然而，正如研究者们指出的那样，这种“从起点到终点”的方式在许多实际问题中并不总是最有效的。尤其在存在瓶颈的情况下，前向规划的过程会遭遇大量岔路，增加了模型探索无关路径的风险。例如，当一个机器人需要从一个宽敞的房间走到狭窄走廊尽头的卧室时，规划出最后的几个步骤反而比从起点开始规划要简单得多。这种情形下，前向搜索带来的广阔选择会导致问题的复杂化。

研究表明，LLMs在前向规划中遇到的主要困难之一就是路径选择的复杂性。随着任务的进行，初始状态可能带来无限多的可能性，这让模型的搜索空间变得越来越大，尤其是对于长时间跨度的问题。这种“可能性泛滥”的现象不仅浪费了模型计算资源，也极大增加了错误的概率。

1.2 逆向规划的思路：为何逆向更简单？

为了应对前向规划的复杂性，研究者们提出了一种逆向思维的解决方案，即从目标出发进行规划。逆向规划的核心思想是：当目标状态本身约束了可能的中间步骤时，模型可以通过逐步从终点推回到起点来显著减少搜索空间。下面这张图能很好地帮助您理解三个规划任务的具体形式，以及向前规划和向后规划在这些任务中的区别。在这里插入图片描述

再比如，在一个数学证明中，最后的推论往往与定理陈述密切相关，这使得逆向寻找证明过程中的关键步骤比从头开始尝试所有可能的方法更加高效。同样的道理在很多规划问题中也成立：例如，当路径上存在“瓶颈”时，从瓶颈向外规划往往比试图找到从一片混乱的初始状态通向目标的路径要简单。

1.3 实验中的发现

研究者们通过实验验证了逆向规划在经典规划任务中的优势。在他们的实验中，涉及三个典型的规划问题：

图规划（Graph Planning）：从一个节点规划到另一个节点，目标是找到最短路径。
数组变换（Array Transformation）：通过一系列函数操作，将一个整数数组转化为目标数组。
积木世界（Blocksworld）：将不同颜色的积木堆叠成目标形状。

他们发现，在这些任务中，LLMs在逆向规划方向上表现出更高的成功率，并且在较少的计算步骤下能够更快地收敛到正确的解法。

2. 解决逆向规划中的系统偏差

2.1 LLMs 在逆向规划中的固有缺陷

尽管逆向规划在理论上更为高效，但研究者们发现，LLMs在逆向规划中存在固有偏差。这种偏差主要体现在：LLMs在生成逆向规划路径时，表现出比前向规划更差的效果。这一现象与LLMs的自回归生成特性密切相关，LLMs的生成是从左到右的逐步构建，而这种生成模式在逆向规划中会导致对先前生成的依赖性过高，进而影响规划的正确性。

另外，LLMs的训练数据也倾向于更多地包含正向推理，而较少包含逆向推理，这进一步加剧了其在逆向规划中的劣势。于是，如何让模型克服这种偏差，成为了提升逆向规划性能的关键挑战。

具体数据显示:

无向图搜索:向前规划成功率82.5%,向后76.7%
有向图搜索:向前38.5%,向后29.7%
数组转换:向前67.5%,向后62.2%
方块世界:向前39.5%,向后20.5%

2.2 问题翻转：将目标作为起点

为了解决LLMs在逆向规划中的偏差问题，研究者们提出了一种创新性的“问题翻转”策略。他们将规划问题中的初始状态和目标状态进行对调，把目标作为新的初始状态，让模型从新定义的初始状态开始进行前向规划。这种策略称为“问题翻转”，可以避免模型在逆向推理中的不适，从而更好地利用其前向推理的优势。

这种方法不仅简单，而且非常有效。通过让LLMs在翻转后的问题中规划，研究者成功地克服了模型在逆向推理中的固有缺陷，从而使得模型能够生成更多样化的候选计划，提升了规划的总体成功率。特别是在存在路径瓶颈的规划问题中，这种方法的效果尤为显著。

2.3 结合自我验证：确保规划的可靠性

在实施问题翻转之后，研究者们还引入了“自我验证”（self-verification）机制来进一步提高规划的准确性。具体来说，LLMs在生成出多条可能的规划路径后，会对每一条路径进行自我验证，以确保其正确性和有效性。在验证过程中，模型会逐步推理各个步骤，检查每一步操作是否能够将当前状态正确地转化为下一步状态。

这种自我验证的过程显著提高了规划的质量，因为它能够帮助模型排除不正确或低效的解答，从而将最优的解决方案呈现出来。在实验中，结合自我验证的逆向规划方法在多个规划域中成功率提高了4%至24%。

3. 实验设计与成果分析

3.1 规划域的选择与任务定义

在实验部分，研究者选择了三个典型的规划域进行测试：图规划、数组变换和积木世界。

在这里插入图片描述

图规划（Graph Planning）：在图规划中，实验使用了带有不同节点和边的图，要求模型从一个初始节点规划到目标节点的最短路径。研究者对比了模型在正向和逆向规划中的表现，发现当图中存在瓶颈节点时，逆向规划显著减少了计算开销。
数组变换（Array Transformation）：该任务要求模型将初始数组通过一系列操作函数（如重复、切割、移位等）转化为目标数组。实验结果显示，某些操作函数（例如缩减数组长度的操作）在逆向规划中更易于被模型识别，从而提高了规划的成功率。
积木世界（Blocksworld）：这一任务中，模型需要将颜色不同的积木从初始堆叠状态通过一系列移动操作调整为目标状态。实验中，研究者发现，翻转问题之后，模型在操作积木的顺序和选择上更为准确，减少了由于错误堆叠而导致的失败率。

3.2 实验结果与分析

在这三种规划任务中，研究者发现，逆向规划（尤其是通过翻转问题后的逆向规划）成功率普遍高于传统的正向规划方法。这种效果在具有瓶颈结构的问题上表现得尤为明显，因为瓶颈约束了状态空间，使得逆向规划路径的选择更加明确。

通过实验，研究者还发现，LLMs在逆向规划中由于自回归生成带来的固有偏差问题可以通过翻转问题得到显著缓解。使用翻转问题和自我验证相结合的策略，在多种任务设置中，规划成功率提升了4%-24%。此外，实验显示，这种方法还能生成更多样化的候选解决方案，这对实际开发AI产品中的复杂问题有非常重要的启示意义。

4. 实现逆向规划：Prompt 设计与模型细化

4.1 如何设计Prompt以实现问题翻转

在实现逆向规划时，Prompt的设计尤为重要。研究者通过精心设计的Prompt来指导LLMs理解如何翻转问题并进行规划。在Prompt中，研究者首先对初始状态和目标状态进行了详细描述，然后通过明确的指令将二者对调，使模型能够理解新的初始状态和目标状态。

例如，在图规划任务中，Prompt中会告诉模型：“将目标节点视为新的起点，寻找通向原始起点的最短路径”。这种明确的指令帮助模型快速理解并适应翻转后的任务描述，从而更高效地生成解决方案。

4.2 自我验证机制的Prompt设计

为了实现自我验证机制，研究者们在Prompt中加入了验证阶段的指令。模型在生成多个可能的规划路径后，会被要求对每一个步骤进行验证，并给出“是否匹配目标状态”的回答。这种验证不仅要求模型进行进一步的推理，还要求其对每个步骤的有效性进行确认，从而确保规划的质量。

研究者发现，通过让模型进行自我验证，可以大大减少错误解答的比例，尤其是在存在多种可能解的情况下，验证过程能够有效地帮助模型排除不合适的选项。这一机制对提升模型的整体规划成功率至关重要。

4.3 提高Prompt工程师的工作效率

对于Prompt工程师而言，这些研究成果提供了许多实践中的指导。例如，在处理需要多步骤推理和复杂规划的问题时，可以尝试通过翻转初始与目标状态来减少规划的复杂度，并通过自我验证机制来提升规划的正确性。此外，Prompt的设计需要尽可能明确、直观，以帮助模型更好地理解翻转后的问题结构和步骤验证要求。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述