CVPR 2025 | MoManipVLA：通用移动操作VLA策略迁移！-CSDN博客

点击下方卡片，关注“具身智能之心”公众号

更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。

本文为论文作者投稿，这里提出了 MoManipVLA，一种全新的通用移动操作视觉-语言-动作模型（Vision-Language-Action Model, VLA）。该模型能够在真实场景中仅用 50 个训练轨迹 即实现 40% 的成功率，显著提升了移动操作任务的效率与泛化能力。

论文地址: https://arxiv.org/abs/2503.13446

项目主页: https://gary3410.github.io/momanipVLA/

1. 简介

移动操作使机器人能够在广阔空间内执行复杂的操作任务，这需要对移动底座和机械臂进行全身协调控制。随着居家服务、智能制造、物流仓储等领域对机器人自主移动操作需求的日益增长，任务复杂性和物体多样性对移动操作模型的泛化性提出了严峻挑战。

然而，现有的移动操作框架缺少大规模预训练，导致整体泛化性低下。同时，收集手脚协同的移动操作数据轨迹昂贵成本，进一步限制了移动操作模型性能。

近年来，视觉-语言-动作模型（VLA） [1, 2] 在任务泛化和场景适应方面展现了卓越性能。然而，现有的 VLA 研究主要聚焦于固定底座操作，由于缺乏对移动底座动作的预测能力，使其难以直接应用于移动操作场景。为此，我们提出了 MoManipVLA，一个高效的策略迁移框架，将固定底座的 VLA 模型迁移到移动操作任务中。

具体而言，MoManipVLA 利用预训练的 VLA 模型生成高泛化的 末端执行器路标（Waypoint），以指导移动操作轨迹的生成。同时，我们为移动底座和机械臂设计了基于场景约束的 运动规划目标，包括：

可达性（Reachability）
轨迹平滑性（Smoothness）
避碰（Collision Avoidance）

从而最大限度地提高移动操作轨迹的 物理可行性。为了高效规划全身运动，我们提出了一种 双层轨迹优化框架（Bi-level Trajectory Optimization）：

上层优化 负责预测底座运动轨迹，以增强机械臂的操作策略空间。
下层优化 选择机械臂的最佳轨迹，确保其遵循 VLA 模型的规划完成任务。

更详细的demo video可以在项目主页观看。

2. 方法

我们的方法的核心思想是 利用 VLA 的强泛化能力，引导机器人底座和手臂的轨迹生成，通过 动作规划目标 生成物理可行的轨迹，让机械臂末端执行器在移动操作设定下到达 VLA 预测的路标，从而完成后续操作任务。

2.1 策略迁移网络

在大规模互联网数据集上预训练的 VLA 模型在 任务泛化 和 场景迁移 方面展现了极强的性能。然而，现有的 VLA 仅限于 固定底座操作。为了高效迁移到 移动操作任务，我们提出了 MoManipVLA 框架，具体如图1所示。

图1 整体框架流程图

具体来说：

VLA 模型生成末端执行器路标 —— 通过视觉观测，预训练 VLA 模型输出机械臂末端执行器的高泛化路标。
优化动作规划目标 —— 设计 运动规划优化目标（Motion Planning Objectives），确保交互轨迹物理可行（可达性、避碰、平滑性）。
双层轨迹优化框架 —— 由于底座和机械臂的位姿搜索空间庞大，我们进一步提出 双层轨迹优化框架（Bi-level Trajectory Optimization）：