路径规划再登新高：蒙特卡洛树与LLMs如何做出更智能的决策？

深蓝学院

于 2024-10-07 13:51:03 发布

阅读量330

点赞数 10

文章标签：人工智能自动驾驶

本文链接：https://blog.csdn.net/soaring_casia/article/details/142739422

版权

在探索人工智能边界的过程中，任务规划，特别是在大规模和复杂环境下的规划，始终是一项充满挑战的任务。近期，新加坡国立大学的研究团队在这一领域取得了突破性进展，他们创新性地融合了大型语言模型（LLMs）与蒙特卡洛树搜索（MCTS）算法，为任务规划的效率与效果带来了显著提升。论文《Large Language Models as Commonsense Knowledge for Large-Scale Task Planning》深入剖析了如何利用LLMs的丰富常识来优化任务规划策略。

1. LLM-MCTS：提升Saycan的效能与泛化性

在此之前，Saycan作为一个先进的任务规划框架，已经展示了利用语言模型进行任务规划的潜力。然而，Saycan在处理大规模任务规划时，面临着效率和泛化能力的挑战。为了克服这些限制，新加坡国立大学的研究团队在Saycan的基础上，推出了LLM-MCTS算法，进一步提升了规划性能。

↓在阅读本文之前，推荐阅读对Saycan的解读↓
详解具身智能元老SayCan｜机器人和大语言模型如何互利共赢

▲图1｜SayCan将LLMs与现实世界联系起来©️【深蓝AI】编译

LLM-MCTS算法的核心创新点在于将大型语言模型（LLMs）的两个关键能力：

「丰富的常识知识库」和「启发式策略生成」与蒙特卡洛树搜索（MCTS）算法结合起来，以应对大规模任务规划的挑战。

相较Saycan的主要改进：

●更高效的搜索算法：LLM-MCTS算法采用MCTS算法，相比于Saycan系统，显著提高了搜索效率和决策质量。

●更好的泛化能力：通过使用LLMs作为常识世界模型，LLM-MCTS在处理复杂和新颖的任务时，展现出了更好的泛化能力。

●结合常识知识与启发式策略：LLM-MCTS不仅利用LLMs的常识知识来构建世界模型，还将其作为启发式策略来指导搜索过程，这在Saycan系统中并未充分利用。

2. LLM-MCTS算法的创新点

LLM-MCTS算法的核心创新在于将LLMs的两个关键能力——丰富的常识知识库和启发式策略生成——与蒙特卡洛树搜索（MCTS）算法结合起来，以应对大规模任务规划的挑战。

■2.1 LLM作为常识世界模型（L-Model）

LLMs通过在互联网规模的数据上进行训练，积累了广泛的常识知识。在LLM-MCTS算法中，研究者们利用这一特点，将LLMs用作构建常识世界模型的工具。这个模型能够预测对象可能的位置，例如，知道苹果通常放在厨房柜台或冰箱里，而不是卧室的衣柜里。

●初始状态信念：LLMs帮助确定对象初始可能的位置，为MCTS提供一个起点。

●状态信念更新：随着机器人在环境中执行动作并获得新的观察，LLMs更新其对对象位置的信念。

■2.2 LLM作为启发式策略（L-Policy）

LLMs还被用作启发式策略，指导MCTS中的选择过程。在每一步，LLMs基于当前的任务历史和观察结果，提出一系列可能的动作。

●动作选择：LLMs生成的动作建议被用作MCTS中选择动作的启发式信息，从而减少搜索空间并提高搜索效率。

●策略概率分布：通过多次采样LLMs，研究者们能够近似出一个策略概率分布，用于指导MCTS的动作选择。

■2.3 结合L-Model和L-Policy

LLM-MCTS算法将L-Model和L-Policy结合起来，以实现更有效的任务规划。

●MCTS框架：在MCTS的框架内，算法首先从由LLMs生成的初始状态信念中采样一个状态。

●搜索过程：然后，算法使用LLMs作为启发式策略来指导树搜索过程中的动作选择。

●探索与利用：通过探索（搜索可能的状态空间）和利用（选择最有可能的行动路径）的平衡，LLM-MCTS找到一条从初始状态到目标状态的路径。

▲图2｜LLM-MCTS算法框架©️【深蓝AI】编译

上图展示了LLM-MCTS算法的基本流程。首先，算法根据LLM生成的初始信念采样一个状态，然后在MCTS中模拟一系列动作，根据LLM提供的策略来选择动作。模拟结束后，算法选择具有最高Q值的动作作为最终动作。

■2.4 MDL原则指导模型与策略选择

最小描述长度（MDL）原则是一个强大的工具，用于在模型选择和策略生成中做出决策。MDL原则基于一个简单的理念：在描述长度较短的假设中选择，通常会导致更好的泛化。

3. MDL原则的理论基础

MDL原则的理论基础是信息论，特别是关于如何量化模型或策略的复杂性。一个模型或策略的描述长度越短，它所需的信息就越少，因此更倾向于简单和泛化。在LLM-MCTS算法中，MDL原则被用来决定是将LLM作为模型还是策略来使用。

模型与策略的权衡：

在某些情况下，描述世界模型所需的信息可能远少于描述一个完整的策略。例如，在对象重排任务中，描述物品可能位置的模型可能比描述每一步动作的策略要简单得多。在这种情况下，使用LLM作为模型（L-Model）可能比作为策略（L-Policy）更有效。

下面是一个有关 LLM作为启发式策略的prompt示例，也是用来建立常识性信念的确切提示。

英文版本：
1）You need to generate a high-level plan for completing a household task using the allowed actions and visible objects.
2）Allowed actions: walk to <object>, walk to <room>, walk to <container>, walk to <surface>, grab <object>, open <container>, close <container>, put <object> on <surface>, put <object> inside <container>.
3）Rooms in the house: bedroom, bathroom, living room, kitchen.
4）You need to strictly follow the format in the following examples:
5）Goal: Put one apple inside the fridge.
6）Completed actions: walk to the kitchen, walk to the apple.
7）Current Observation: A kitchen table is inside the kitchen, a kitchen counter is inside the kitchen, an apple is on the kitchen counter, a plate is on the kitchen table, a banana is on the kitchen counter, a fridge is inside the kitchen and fridge is closed, a kitchen cabinet is inside the kitchen and kitchen cabinet is closed, a cutlery knife is on the kitchen table, a microwave is inside the kitchen and microwave is closed, a dishwasher is inside the kitchen and dishwasher is closed.
8）Next actions: grab the apple, walk to the fridge, open the fridge, put the apple inside the fridge, done.
9）Now, finish the next following task.
10）Goal: Put one apple on the kitchen table.
11）Completed actions: walk to the kitchen.
12）Current observation: A kitchen table is inside the kitchen, an apple is on the kitchen table, a kitchen counter is inside the kitchen, an apple is on the kitchen counter, a cutlery knife is on the kitchen table, a fridge is inside the kitchen and fridge is closed, a kitchen cabinet is inside the kitchen and kitchen cabinet is closed, a kitchen table is inside the kitchen, a plate is on the kitchen table, a pounding cake is on the kitchen table, a microwave is inside the kitchen and microwave is closed, a dishwasher is inside the kitchen and dishwasher is closed.
13）Next actions:

中文版本：
1）你需要生成一个高级计划来完成一个家庭任务，使用允许的动作和可见的物体。
2）允许的动作：走向<物体>，走向<房间>，走向<容器>，走向<表面>，抓取<物体>，打开<容器>，关闭<容器>，把<物体>放在<表面>，把<物体>放进<容器>。
3）房间：卧室，浴室，客厅，厨房。
4）你需要严格遵循以下示例中的格式：
5）目标: 将一个苹果放入冰箱。
6）已完成的动作: 走到厨房，走到苹果处。
7）当前观察: 厨房里有一张厨房桌子，厨房柜台上有一个苹果，厨房桌子上有一个盘子，厨房柜台上有一根香蕉，厨房里有一台冰箱并且冰箱是关闭的，厨房里有一个橱柜并且橱柜是关闭的，厨房桌子上有一把刀具，厨房里有一个微波炉并且微波炉是关闭的，厨房里有一个洗碗机并且洗碗机是关闭的。
8）下一个动作: 抓住苹果，走向冰箱，打开冰箱，把苹果放入冰箱，完成。
9）现在，完成接下来的任务。
10）目标: 将一个苹果放在厨房桌子上。
11）已完成的动作: 走到厨房。
12）当前观察: 厨房桌子上有一个苹果，厨房里有一个厨房柜台，柜台上有一个苹果，厨房桌子上有一把刀具，厨房里有一个冰箱并且冰箱是关闭的，厨房里有一个橱柜并且橱柜是关闭的，厨房桌子上有一个盘子和一个蛋糕，厨房里有一个微波炉并且微波炉是关闭的，厨房里有一个洗碗机并且洗碗机是关闭的。
13）下一个动作: