具身思想链协助提升空间推理能力！SpatialCoT：基于坐标对齐和思想链的具身任务规划-CSDN博客

本文链接：https://blog.csdn.net/weixin_37990186/article/details/145485486

作者：Yuecheng Liu, Dafeng Chi, Shiguang Wu, Zhanguang Zhang, Yaochen Hu, Lingfeng Zhang, Yingxue Zhang, Shuang Wu, Tongtong Cao, Guowei Huang, Helong Huang, Guangjian Tian, Weichao Qiu, Xingyue Quan, Jianye Hao, and Yuzheng Zhuang

单位：华为诺亚方舟实验室
标题：SpatialCoT: Advancing Spatial Reasoning through Coordinate Alignment and Chain-of-Thought for Embodied Task Planning
原文链接：https://arxiv.org/pdf/2501.10074
项目主页：https://spatialcot.github.io/

主要贡献

强调了视觉语言模型固有的语言推理能力，并通过将其与坐标对齐相结合，显著提高了模型在复杂环境中的表现，增强了模型的空间推理能力。
提出了SpatialCoT，包括两个阶段：空间坐标双向对齐和空间定位思维链，能够有效解决具身任务中的复杂问题。
引入了自动化的数据收集流程，用于生成高质量的理由数据，以减少模型微调的数据获取成本，显著提高了数据收集的效率和质量。
实验结果表明，SpatialCoT在导航和操作等具有挑战性的任务中表现出色，超越了之前的SOTA方法。

研究背景

研究问题

现有的方法在处理复杂具身任务时主要依赖于语言输出，未能充分利用视觉语言模型（VLMs）的思维和推理能力。

论文主要解决的问题是增强VLMs在具身任务规划中的空间推理能力。

研究难点

该问题的研究难点包括：

现有方法在处理复杂环境中的精细动作决策时表现不佳；
直接将语言指令转换为点动作空间的做法忽略了VLMs的语言推理能力；
如何在复杂环境中进行多步推理和精细动作生成。

研究方法

空间坐标双向对齐

该阶段的目标是使视觉语言模型能够理解和生成坐标。通过对视觉-语言数据和坐标之间的显式对齐，模型可以更好地理解和生成基于坐标的输入和输出。

论文引入了双向对齐框架来强化这一过程。具体来说，模型需要处理两种类型的数据：

坐标理解（Coordinates Understanding）：
- 给定一个图像和一个包含坐标的文本指令，模型应输出关于指令中描述坐标的相应信息。例如，识别图像中特定坐标位置的对象。
- 公式表示为：。
坐标生成（Coordinates Generation）：
- 给定一个图像和一个不包含坐标的纯文本指令，模型应生成一个或多个坐标来指出指令中描述的位置或区域。
- 公式表示为：。

为了实现更全面的对齐，论文引入了多种类型的数据，这些数据可以分为四类：

对象理解（Object Understanding）：
- 匹配自然语言描述与图像中的具体视觉内容，即视觉定位。
- 目标是根据给定的文本描述识别和定位图像中的对象。
可用性预测（Affordance Prediction）：
- 识别和预测对象或环境允许的可能动作。
- 例如，确定机器人可以无碰撞地导航的区域，或理解如何抓取或操作某些对象。
空间关系（Spatial Relationship）：
- 理解基于环境布局的对象之间的关系。
空间兼容性（Spatial Compatibility）：
- 增强模型理解和预测对象之间兼容性的能力。

空间定位思维链

该阶段的目标是利用VLMs的自然语言处理能力，通过生成理由（rationale）来指导空间推理任务。

通过这种方式，模型能够在复杂的任务中进行更细致的推理，并将其转化为基于坐标的动作。

理由生成：模型首先生成一个理由，即对任务的思考过程。在这个过程中，模型利用其空间和常识推理能力来提供完成任务所需的指导。
动作生成：基于生成的合理理由，模型生成适当的坐标动作。通过在前一阶段中对齐语言和坐标，理由（用语言表达）可以有效地转化为坐标，而无需大量的微调数据。

为了高效地收集高质量的推理-动作数据对，设计了自动化的数据生成流程：

初始动作获取：首先，从模拟器中以规则化的方式获取真实动作，确保动作的优化性。
图像标注：将真实动作标注在输入图像上，可以是轨迹或子目标点，具体取决于任务。
理由生成：使用强大的视觉语言模型根据动作标注的图像和任务指令生成理由。为了避免信息泄露，引入了一个额外的约束提示，确保生成的理由不包含真实动作的信息。

实验设计

任务类型

论文关注两类主要的具身任务：导航和操作。

导航任务
- 对象目标导航：不同于以往研究中将导航任务视为区域定位问题（即模型只需生成当前视图中的位置），采用更具挑战性的对象目标导航任务。在这种任务中，智能体必须找到当前视野之外的目标对象。模型被要求在每个观察中生成最佳子目标点，以便尽快定位目标对象。
- 复杂性因素：导航任务的复杂性考虑了状态（如遮挡）、目标（如目标数量和空间约束）、动作（如动作格式和所需技能的数量）以及环境转换（如动态不确定性）等因素。
操作任务
- 桌面重排：论文使用桌面重排任务作为操作任务的评估标准。这是一个比RoboPoint中的Where2Place任务更具挑战性的扩展。给定一个用语言指令描述的目标布局，模型需要逐步移动物体，通过生成每个物体的起始和结束位置，直到达到期望的布局。
- 复杂性因素：操作任务的复杂性考虑了物理概念（如碰撞）和人类常识（如何时停止）的理解，以及长视域规划能力的需求。

评估指标

导航任务：使用距离增益（Distance Gain）和成功率（Success Rate）作为评估指标。
操作任务：使用碰撞率（Collision Rate）和成功率（Success Rate）作为评估指标。

结果与分析

问题1：两阶段训练过程是否有效增强VLM的空间推理能力？
- 通过将SpatialCoT与基线模型在导航和操作任务上进行比较，验证了两阶段训练过程的效果。
- 在导航任务中，使用距离增益（DG）和成功率（SR）作为指标。结果显示，GPT-4o ICL和LLama3.2V 11B Zero-shot的表现较差，而RoboPoint的表现稍好。直接动作调优的基线方法提高了DG到2.28，结合空间坐标双向对齐后提高到3.23，引入链式推理后提高到2.83，两者结合提高到3.33，显示出显著提升。
- 在操作任务中，碰撞率（CR）和成功率（SR）是评估指标。直接动作调优显著降低了碰撞率到21.3%，成功率提高到75.8%。SpatialCoT进一步提高了这些指标，碰撞率为15.6%，成功率为82.6%。

问题2：哪种类型的具身规划任务从SpatialCoT的改进中获益最多？

通过将任务按难度级别分类，分析结果表明，操作任务中大多数失败来自于非唯一对象和高数量对象的情况。SpatialCoT在这些任务中表现出显著改进，成功率分别提高了8.68%和20.00%。
在导航任务中，SpatialCoT在所有难度级别上都表现出色，尤其是在最具有挑战性的级别（目标较少且距离较远）上，成功率提高了8.66%。
问题3：VLM的基本能力与其下游具身规划任务的性能之间是否存在正相关？