LLM的物理推理与规划方法E2WM

一、研究背景

  这篇论文解决的主要问题是现有大型语言模型（LMs）在处理涉及物理环境的推理和规划任务时表现出的不足。具体来说，这些语言模型在理解物体的恒定性、进行家庭日常活动规划以及处理物体交互等方面存在限制。这些问题的根源在于，这些模型通常只依赖文本数据训练，没有接触到真实世界的动态互动和物理规律，从而缺乏对物理世界的直观理解和应用能力。这导致模型在面对需要体现知识的任务时，无法做出准确的推理和有效的决策。

二、当前难点

  这篇论文中讨论的难点主要围绕现有大型语言模型（LMs）在处理与物理环境相关的推理和规划任务时的局限性。以下是这些难点的更详细解释：

1. 理解对象恒存性

  这是认知心理学中的一个基本概念，指一个对象即使不被观察也会持续存在。对人类而言，这是一个从小就能理解的概念，但对于只通过文本训练的语言模型来说，这种概念是难以通过纯文本获得的。语言模型通常无法准确处理查询中涉及对象隐藏或移动后位置状态的问题，如“球被放入盒子，盒子被遮住，球在哪里？”这类问题对于缺少物理交互经验的模型是个挑战。

2. 日常活动规划

  现有的语言模型虽然能在某些层面上理解任务指令的文本描述，但将这些任务转化为对物理世界中的对象进行操作的具体行动计划则较为困难。例如，在模拟家庭环境中计划一天的清洁工作，不仅需要理解清洁的含义，还要知道如何操作具体的清洁工具，如何在物理空间中移动以及如何顺序执行各项任务。

3. 物体交互的理解

  现有模型在理解物体如何在物理空间中相互作用方面存在限制，尤其是在没有直观经验的情况下。例如，模型需要理解开关门、开关灯等动作的物理影响，这通常涉及到对力、空间位置和对象属性的理解。这些交互的复杂性在只有文字描述而没有实际操作经验的训练数据中很难被模型学习到。

4. 特化任务模型的泛化问题

  在实践中，为了提高模型在特定任务上的表现，研究者可能会训练模型以优化这些任务的执行。但这种方法往往会牺牲模型的泛化能力，使得模型在遇到新的或略有不同的任务时，表现不佳。这种过度专注于单一任务的训练方式可能导致模型无法适应变化多端的真实世界情况。

5. 缺乏多模态输入的处理能力

   现有的语言模型主要处理文本数据，对于需要视觉、触觉或其他感官信息的任务，模型无法有效理解和响应。例如，在真实世界中，诸如导航或识别被遮挡物体的任务不仅需要文本描述，还需要视觉和空间信息的整合。

三、技术方案

  这篇论文提出了一种新的训练范式，名为“通过世界模型增强的体现经验微调”（E2WM），用以解决传统语言模型（LMs）在处理与物理环境相关的推理和规划任务时的局限性。以下是该技术路线的详细介绍：

1. 世界模型的构建与应用：首先，研究者构建了一个虚拟的物理环境模拟器，称为“世界模型”。这个模型模拟真实世界中的物理互动，如开关门、移动物体等。通过这种模拟，语言模型可以在一个控制的环境中“体验”物理世界的动态。

2. 体现经验的收集：语言模型通过在这个虚拟世界中执行任务来收集体现经验。这些任务包括目标导向的规划和随机探索。在目标导向的规划中，模型需要生成达成特定目标的行动计划，例如清理房间或准备餐点。而在随机探索中，模型在没有特定目标的情况下自由移动和互动，从而学习对象的属性和环境的布局。

3. 微调语言模型：收集到的体现经验被用来微调预训练的语言模型。这一步骤的目的是使语言模型不仅能处理文本信息，还能理解和生成与物理世界互动相关的内容。这包括改善模型在物体永久性、空间导航和复杂物体操作等方面的理解和推理能力。

4. 弹性权重共固化（EWC）和低秩适配（LoRA）：为了优化训练过程并保持模型的泛化能力，研究者引入了弹性权重共固化（EWC）技术，用于在微调时保护模型对先前任务的记忆，避免所谓的灾难性遗忘。同时，通过低秩适配（LoRA）技术，提高了训练的效率，使得只有部分关键参数进行更新，而不需要重新训练整个模型。

5. 广泛的实验验证：文章通过在多个下游任务上的实验来验证所提方法的有效性。这些任务设计用来测试模型在理解和生成与物理世界互动相关的语言内容上的表现。实验结果表明，通过这种方式微调后的模型在多项任务中都显示出了明显的改进，尤其是在那些需要物理世界互动理解的任务上。

  总之，这篇论文提出的技术路线通过将传统的语言模型与世界模型结合，引入体现知识的概念，从而极大地拓展了语言模型的应用范围和处理复杂物理环境任务的能力。这种方法不仅提升了模型的实用性，也为未来语言模型的发展方向提供了新的思路。

四、实验结果

参考文献

[1] **ang J, Tao T, Gu Y, et al. Language models meet world models: Embodied experiences enhance language models[J]. Advances in neural information processing systems, 2024, 36.