数据稀缺时代的解法：Zero-Shot学习如何让机器人“无师自通”？-CSDN博客

点击下方卡片，关注“具身智能之心”公众号

更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。

ZeroShot学习（ZeroShot Learning, ZSL）是具身智能（Embodied AI）领域的一项关键技术，它使机器人或智能体能够在未见过的任务、环境或硬件配置下直接执行操作，而无需额外的训练或微调。我们从2025ICRA、CVPR、RSS会议中选取了几项相关研究，来对zeroshot的重要性一探究竟。

1. 解决数据稀缺问题，降低机器人训练成本

传统方法依赖大量真实世界数据或仿真训练，而数据收集（如机器人演示、环境建模）成本高昂。

ZeroShot方案（如VidBot、RoboSplat）利用合成数据、人类视频或单次演示生成泛化策略，减少对真实数据的依赖。例如： VidBot 仅需人类视频即可训练机器人操作策略，无需机器人专属数据。 RoboSplat 通过高斯泼溅技术，从单次演示生成多样化训练样本，数据效率提升50倍。

2. 实现跨平台、跨具身的泛化能力

机器人硬件形态多样（如不同自由度机械臂、多指灵巧手），传统方法需为每种硬件单独训练策略。

ZeroShot方法（如XMoP、UniGraspTransformer）通过统一表征学习，支持跨硬件迁移： XMoP 在7DoF机械臂上实现零样本运动规划，无需针对新机器人微调。 UniGraspTransformer 将数千种抓取策略蒸馏到单一网络，适配不同手型与物体。

3. 适应动态与未知环境

真实环境充满不确定性（如新物体、动态障碍），传统方法需在线学习或重新训练。

ZeroShot方法（如ZeroGrasp、NaVILA）通过多模态推理实时适应变化： ZeroGrasp 从单目图像重建未知物体3D形状并规划抓取，适用于工业分拣。 NaVILA 通过语言指令理解复杂导航任务（如“绕过障碍物”），无需预定义地图。

4. 推动机器人通用化（GeneralPurpose Robotics）

ZeroShot学习是迈向通用机器人（如“机器人ChatGPT”）的关键步骤，使单一模型处理多任务： XMoP 和 UniGraspTransformer 证明统一策略可覆盖不同运动与操作任务。 NaVILA 结合视觉语言动作模型，实现开放指令下的自主决策。

5. 加速仿真到真实（SimtoReal）的迁移

传统SimtoReal依赖域随机化或精细调参，而ZeroShot方法（如RoboSplat）通过合成数据直接泛化到真实世界，成功率提升30%以上。

总结：ZeroShot学习的核心价值

降低成本：减少数据收集与训练时间。
增强泛化：跨硬件、跨任务、跨环境适用。
提升适应性：实时应对未知场景。
推动通用AI：迈向多任务、多模态的智能体。

XMoP: WholeBody Control Policy for Zeroshot CrossEmbodiment Neural Motion Planning

https://arxiv.org/pdf/2409.15585

会议/来源：ICRA 2025

文章提出了一种面向多机械臂的零样本跨具身运动规划框架，解决了传统神经运动规划（NMP）无法泛化到不同机器人形态的核心问题。其亮点在于首次实现了无需微调的跨具身泛化能力，通过合成数据训练的策略可直接部署到7种不同自由度（6DoF和7DoF）的商业机械臂上，在动态障碍环境中达到70%的平均规划成功率，并验证了从仿真到真实的强鲁棒性。

模型架构

配置空间（Cspace）的神经策略设计XMoP的核心创新是将运动规划问题转化为链接级SE(3)位姿变换序列的预测任务。模型输入为当前机械臂各连杆的SE(3)位姿序列（通过URDF解析）和环境的点云观测，输出为未来时间步的连杆位姿变换矩阵 T_{t+1:t+H} ，最终通过逆运动学求解关节空间轨迹。这种设计避免了传统任务空间策略对特定机器人形态的依赖，直接学习跨具身的运动约束。
基于扩散模型的策略学习采用扩散模型（Diffusion Policy）生成多步运动规划，通过逐步去噪过程增强轨迹的平滑性和碰撞规避能力。训练数据来自300万组程序化生成的合成机械臂（涵盖不同连杆长度、关节限制和自由度）在多样化环境中的规划演示，利用OMPL生成专家轨迹。
零样本泛化机制
- 物理描述编码：通过URDF文件动态编码新机械臂的形态学参数（如连杆几何、关节限制），使策略能自适应不同构型空间。
- 碰撞检测模块（XCoD）：联合训练一个3D语义分割模型，以98%的召回率检测跨具身环境中的碰撞区域，与规划策略形成模型预测控制（MPC）闭环。
仿真到真实的迁移尽管完全基于合成数据训练，XMoP在Franka FR3和Sawyer等真实机械臂上展示了零样本部署能力，成功处理动态障碍（如移动物体）和长程规划任务。其泛化性源于合成数据对运动学分布的充分覆盖，以及SE(3)位姿表示对形态变化的解耦特性。

ZeroGrasp: ZeroShot Shape Reconstruction Enabled Robotic Grasping

https://arxiv.org/pdf/2504.10857

会议/来源：CVPR 2025

文章提出了一种突破性的机器人抓取框架，通过零样本3D形状重建与抓取位姿预测的联合优化，实现了对未知物体的实时、高成功率抓取。其核心亮点在于无需物体先验数据，仅凭单目RGB或RGBD输入即可完成复杂场景下的几何推理与抓取规划，在GraspNet1B基准测试和真实机器人实验中分别达到92.4%的抓取成功率，显著优于传统需要物体特定训练的抓取方法。

模型架构

多任务联合学习框架ZeroGrasp采用神经隐式表示（Neural Implicit Representation）统一形状重建与抓取预测任务。输入的单视角图像通过共享的视觉编码器（如ResNet50）提取特征，随后分两路处理：
- 形状重建分支：基于Occupancy Networks生成连续的3D占用场，通过可微分渲染与输入图像对齐，重建被遮挡部分的几何结构。
- 抓取预测分支：结合重建的3D几何与物理约束（如摩擦系数、力闭合条件），输出6DoF抓取位姿及夹持器参数。
大规模合成数据驱动训练数据来自包含12000个ObjaverseLVIS物体的合成数据集，涵盖100万张照片级渲染图像、高精度3D重建及113亿组物理验证的抓取标注。通过域随机化（Domain Randomization）增强光照、纹理多样性，确保仿真到真实的零样本迁移能力。
空间关系与遮挡推理创新性地引入图注意力机制（GAT）建模物体间的空间关系，例如堆叠物体的分离边界预测，避免抓取时的碰撞。实验表明，该设计使系统在杂乱场景中的抓取成功率提升19%。
实时性能优化采用轻量级网络架构与并行计算流水线，在NVIDIA Jetson AGX上实现200ms内的端到端推理，满足实时操作需求。

NaVILA: Legged Robot VisionLanguageAction Model for Navigation

https://arxiv.org/pdf/2412.04453

会议/来源：RSS 2025

文章提出了一种突破性的两级框架，通过结合视觉语言动作（VLA）模型与实时运动控制策略，实现了腿式机器人（如四足/人形机器人）在复杂场景下的零样本语言指令导航。其核心亮点在于无需预训练仿真器或特定机器人数据，即可将自然语言指令（如“绕过障碍物并找到红色门”）直接转化为跨平台的关节动作，在真实世界的Unitree Go2/G1等机器人上达到88%的导航成功率，较传统方法提升17%。

模型架构

两级分层框架设计
- 高层VLA指令生成：基于视觉语言模型（VLM）处理单目RGB输入和语言指令，通过视觉编码器（ResNet）+投影器（MLP）+LLM的架构，输出自然语言形式的中间指令（如“向左转30°并前进1米”）。创新性地引入导航提示机制，区分历史帧与当前观测，确保多步任务的可追踪性。
- 低层运动策略：采用强化学习（PPO）训练的实时控制模块，将高层指令转化为1218个关节的精确运动。通过LiDAR构建高度图并随机化域参数，显著降低仿真到真实的差距。该策略以10Hz频率运行，支持动态避障与复杂地形穿越。
多模态数据训练与泛化能力
- 训练数据融合了YouTube人类游览视频（20K轨迹）、仿真导航数据（Isaac Lab）及通用VQA数据集，通过熵采样增强指令多样性。VLA部分通过监督微调实现跨模态对齐，而运动策略仅需仿真训练即可零样本迁移至真实机器人。
- 提出的VLNCEIsaac基准包含高保真物理模拟场景，支持评估低层控制与语言理解的协同性能，在透明表面、崎岖地形等挑战性场景中成功率提升14%。
实时性与安全机制
- 采用双频运行架构：VLA以1Hz生成高层指令，而运动策略以10Hz实时调整动作，平衡规划与执行效率。通过LiDAR的实时高度图分析，有效识别玻璃门等透明障碍物，避免碰撞。

VidBot: Learning Generalizable 3D Actions from IntheWild 2D Human Videos for ZeroShot Robotic Manipulation

https://arxiv.org/pdf/2503.07135

会议/来源：CVPR 2025

文章提出了一种突破性的框架，通过从单目RGB人类视频中学习与具身无关的3D动作表征，实现了机器人零样本操作任务泛化。其核心亮点在于无需机器人专属演示数据，仅利用互联网海量人类视频（如EpicKitchens100数据集）即可训练模型，在13项家务任务（如开关橱柜、推抽屉）的零样本测试中成功率显著超越基线方法，并可直接部署到Stretch 3等真实机器人平台。

模型架构

3D Affordance表征提取流水线VidBot首先通过运动恢复结构（SfM）和度量深度基础模型（如[90]）从单目视频中重建3D手部轨迹，并优化相机姿态与全局尺度一致性。结合手部物体分割掩码，提取时空对齐的接触点（c）和交互轨迹（τ），形成3D Affordance表征 a = {c, τ}。这一流程解决了传统方法依赖静态摄像机或深度传感器的限制。
由粗到细的Affordance学习框架
- 粗略模型（π_c）：基于ResNet的编码器从RGBD输入中预测目标点（g）和接触点（c），通过高斯混合模型拟合概率分布，并引入辅助向量场损失增强空间感知。
- 精细模型（π_f）：采用条件扩散模型生成细粒度交互轨迹，以粗略预测为条件，并集成碰撞规避、法线对齐等测试时成本函数引导轨迹优化。这种设计显著提升了新场景下的泛化能力。
多模态训练与泛化机制训练数据融合了18,726段人类视频和合成演示，通过语言视频对齐损失（余弦相似度）将视频嵌入与预训练语言向量（如CLIP）关联，确保语义一致性。在推理时，模型支持语言指令或视频输入，通过FiLM层调节策略网络，适配不同任务需求。

RoboSplat: Novel Demonstration Generation with Gaussian Splatting Enables Robust OneShot Manipulation

http://export.arxiv.org/pdf/2504.13175

会议/来源：RSS 2025

文章提出了一种基于3D高斯泼溅（Gaussian Splatting）的机器人示范生成框架，通过单次专家演示自动合成多样化、高质量的视觉动作训练数据，解决了传统机器人策略学习依赖海量人工数据的问题。其核心亮点在于仅需一条真实演示，即可生成覆盖6类泛化场景（如物体姿态、光照、相机视角等）的合成数据，在真实世界的抓取、关抽屉等任务中达到87.8%的平均成功率，较传统数据增强方法提升30.6%。

模型架构

3D高斯场景重建与编辑流水线
- 重建阶段：通过多视角RGBD输入，利用3D高斯泼溅技术（3DGS）重建场景的可微分3D高斯点云，每个高斯点包含位置、协方差、不透明度与球谐系数，支持高保真渲染。
- 编辑阶段：提出五大编辑技术：
- - 高斯替换：替换物体类型或机器人形态（如将夹持器从二指改为三指）；
- - 等变变换：调整物体位姿（如旋转抽屉把手）；
- - 视觉属性编辑：动态修改光照与材质；
- - 新视角合成：生成多摄像机视角的观测；
- - 3D内容生成：添加未见过的物体（如不同形状的餐具）。
动作迁移与数据生成机制
- 将专家演示的末端执行器轨迹物理约束嵌入高斯点云，通过刚体动力学仿真迁移到编辑后的场景中，确保动作的物理合理性。例如，抓取轨迹会根据新物体的几何特征自动调整接触点。
- 引入自适应密度控制（ADC）优化高斯分布，避免编辑后的场景出现空洞或过饱和，提升合成数据的真实性。
策略训练与泛化验证
- 生成的数据用于训练视觉运动策略（如扩散策略），通过域随机化损失强制模型忽略无关特征（如纹理变化），专注于几何与动力学泛化。
- 在Franka Emika等真实机器人上验证了零样本迁移能力，尤其在动态干扰（如移动障碍物）下的成功率较基线提升47%。

UniGraspTransformer: Simplified Policy Distillation for Scalable Dexterous Robotic Grasping

https://arxiv.org/pdf/2412.02699

会议/来源：CVPR 2025

文章提出了一种基于Transformer的通用灵巧抓取框架，通过简化策略蒸馏流程实现了跨物体、跨形态的零样本泛化能力，其核心亮点在于仅需单次离线蒸馏即可将数千种物体的专用抓取策略统一到一个网络中，在仿真与真实场景中分别取得3.5%~10.1%的成功率提升。

模型架构

分层训练框架
- 专用策略生成：针对每个训练集物体，通过强化学习（PPO算法）训练独立的策略网络，输入包含272维状态向量（如关节角度、物体位姿、手物距离等），输出24维动作控制序列。训练时通过随机旋转物体增强初始姿态多样性。
- 轨迹数据集构建：每个专用网络生成1,000条成功抓取轨迹，最终形成包含320万条轨迹的大规模数据集，覆盖3,200种物体。
Transformer蒸馏架构
- 多模态输入编码：将物体点云、机器人状态等异构数据通过线性投影统一为序列化向量，并加入时间嵌入编码时序信息。
- 12层自注意力块：通过堆叠自注意力层捕捉物体几何与动作的全局依赖关系，例如识别手柄与抓取方向的关联性。相比传统MLP网络，注意力机制显著提升了跨类别泛化能力。
- 监督蒸馏损失：采用L2损失对齐预测动作与专家轨迹，并引入多样性正则项避免抓取策略趋同（如UniDexGrasp++的重复抓取问题）。
双模态推理能力
- 状态模式：输入高精度仿真状态数据，成功率较基线提升7.7%（未见类别物体）。
- 视觉模式：处理噪声点云与估计位姿，通过跨模态注意力融合视觉特征与物理约束，真实机器人实验成功率超90%。