VLA落地难？2篇标志性成果解读：如何将DeepSeek R1 成功经验迁移至【具身智能】！-CSDN博客

本文链接：https://blog.csdn.net/soaring_casia/article/details/147961971

今天我们探讨：如何将DeepSeek的成功经验迁移至视觉-语言-动作（VLA）模型。

众所周知，在自然语言处理领域，DeepSeek R1的横空出世，揭示了强化学习（RL）在大模型后训练中的革命性潜力。R1仅用传统方法1/3的计算资源，便实现了与GPT-4o相媲美的多步推理能力。

其核心在于：

冷启动自进化：摒弃监督微调（SFT）依赖，通过纯RL训练生成初始推理链，利用GRPO算法降低训练成本；
结构化奖励系统：融合准确性奖励（基于规则验证答案正确性）、格式一致性奖励（强制CoT逻辑分段）、语言一致性奖励（抑制多语言混杂），精准引导模型输出；
迭代式自我提升：通过3轮RL训练，逐步引入拒绝采样筛选高质量轨迹，并蒸馏至通用任务，实现推理能力与泛化性的平衡。

这一范式证明，RL不仅能优化文本生成的对齐性，更可系统性提升复杂推理能力。

但，当我们将目光转向具身智能领域，挑战陡然升级——机器人需在物理世界中实时交互，其动作空间连续、奖励信号稀疏、安全约束严苛。

那么，如何将DeepSeek的成功经验迁移至视觉-语言-动作（VLA）模型？

答案指向两条创新路径：冻结式参数优化与自动化偏好对齐。

本文将选取两篇代表性文章：iRe-VLA 和 GRAPE，详细介绍其中的 VLA 模型，看看这两条创新路径是如何实现的。

我们开设此账号，想要向各位对【具身智能】感兴趣的人传递最前沿最权威的知识讯息外，也想和大家一起见证它到底是泡沫还是又一场热浪？（文末，可以免费来参观各家机器人实机！）

欢迎关注【深蓝具身智能】👇

iRe-VLA ：冻结式参数优化

首先是清华大学交叉信息研究院陈建宇老师团队，在实现“冻结式参数优化”方向上的工作。

在大型语言模型（LLM）和视觉语言模型（VLM）的微调领域，监督微调（SFT）因其稳定性和可扩展性成为主流方法。

然而，此前的方法存在显著局限性：

首先，SFT高度依赖高质量的专家数据集，这在机器人领域尤为突出——与语言模型可获取海量互联网数据不同，机器人领域的高质量示范数据采集成本高昂且难度较大；

其次，由于分布偏移现象，基于SFT的监督学习范式难以确保VLA模型与动态物理环境的完全对齐。

▲图1 | 用 LLMs 的微调来增强机器人VLA

为解决上述问题，清华大学研究团队探索了强化学习（RL）这一大模型微调技术。

受RLHF（基于人类反馈的强化学习）启发，尝试通过在线RL优化VLA模型，以增强其与物理环境的对齐能力。

然而，机器人任务具有长周期性和稀疏奖励的特点，同时现有研究表明：

当在线RL应用于大规模神经网络时，不仅训练过程极不稳定，模型性能还可能显著下降（如图1右侧所示）。
完整的在线RL训练对计算资源的需求往往超出普通本地机器的承载能力。

针对这些挑战，研究团队提出了创新的iRe-VLA框架。

该框架通过在强化学习和监督学习之间建立迭代优化机制，既保留了RL的探索优势，又维持了监督学习的稳定性。

具体实现包含两个关键阶段：

▲图2 | VLM在探索阶段被冻结以稳定训练，在SL阶段可训练以充分利用预训练VLM的潜力

1. 在线RL阶段：冻结VLM参数，仅训练轻量级动作头。

这种设计不仅避免了模型崩溃风险，还显著提升了训练效率。值得注意的是，该方法的关键创新在于：预训练阶段无需VLM与动作头联动，而是通过将语言隐空间与动作隐空间对齐来实现无缝适配。

2. 监督微调阶段：基于成功轨迹进行全参数微调。

这一步骤充分发挥了VLM的表达能力，通过联合微调激发模型在机器人控制任务中的性能潜力。

▲图3 | 真实世界实验

在具体实现上，研究团队采用BLIP-2 3B模型作为VLM主干。

由于预训练VLM输出为文本token，专门设计了用于生成低级控制动作（包括末端执行器位姿和夹爪状态变化）的动作头。借鉴先前VLA研究经验，将VLM的全连接层替换为初始化动作头，并采用LoRA进行参数高效微调，总可训练参数包含LoRA参数 θ 和动作头参数 ϕ。

▲图4 | 在三个领域进行实验。每个领域包含三个类别：专家数据集中观察到的任务、利用强化学习的新任务和保留未观察到的任务。

这种方法的另一个重要优势体现在灾难性遗忘问题的解决上：当智能体学习新任务时，通过将新收集的在线数据与原始专家数据集共同用于监督训练，有效保持了模型在已学习任务上的性能。

通过这种阶段1（探索新任务）和阶段2（巩固已学任务）的交替优化，VLA模型能够逐步扩展其任务解决能力，同时避免性能退化。

▲图5 | VLA模型的选代RL(iRe-VLA)

阶段0：在专家数据集上的有监督学习

首先在专家机器人数据集 ₁₁₁₂₂₂ᵢᵢᵢ上，对VLA模型 πθ 进行标准的有监督微调。形式上，其学习目标定义为均方误差（MSE）损失函数：

₀θϕπθϕ²₂

经过有监督微调后，得到初始的VLA模型πθϕ。其性能高度依赖于专家数据集的规模与质量。接下来，通过在线强化学习来进一步提升πθϕ的性能。

阶段1：冻结VLM参数的在线强化学习

虽然SFT模型πθϕ在新任务上可能无法达到最优性能，但由于它已在多个机器人任务上训练过，仍然是一个有价值的起点。为提升该策略的表现，我们使用在线强化学习进行训练。

在此过程中，我们引入一个critic head，其结构与action head相似，但输出维度为1。为了防止模型崩溃并加速训练过程，我们在该阶段冻结VLM的参数 θ，仅优化动作头的参数 ϕ，其优化目标为：

₁ϕ₀₀₀₁₁₁ϕₜγᵗₜₜ

通过在线强化学习，机器人可以发现解决新任务的新轨迹ᵢ，并将这些成功轨迹加入在线数据集

ᵢ

阶段2：在专家数据和在线数据上的有监督学习

在阶段1中，智能体在新任务上执行强化学习时，可能会遗忘之前学过的任务。为防止灾难性遗忘，我们在阶段2中使用专家数据集和新收集的在线数据集共同对整个模型进行有监督训练。

其优化目标为：

₂θϕπθϕ²₂

如前所述，阶段1使智能体探索新任务的解法，而阶段2则模仿所有成功的轨迹。

通过在阶段1与阶段2之间反复交替训练，大规模的VLA模型可以逐步解决更广泛的任务，并避免在已学任务上出现遗忘。

▲图5 | 在Metaworld和Franka-kitchen基准上的成功率，分为三类任务(蓝色为专家任务，绿色为RL训练任务，红色为未见过的任务)

实验结果表明，iRe-VLA框架显著优于传统PPO算法和纯监督学习，主要体现在三个方面：

原始任务性能提升：通过在线交互优化，iRe-VLA在专家任务（如"左开门"）上的成功率从0.43提升至0.83，弥补了专家数据不足的缺陷。
新任务适应能力：在专家数据未覆盖的强化学习任务中，模型能自主解决新任务且避免灾难性遗忘。
泛化能力增强：训练后模型在未见任务（如不同颜色/形状的窗口操作）中表现更优，表明迭代学习能系统性提升泛化性。

针对iRe-VLA框架，通过迭代式强化学习（RL）与监督学习（SFT）的交替优化，解决了视觉语言动作模型（VLA）在机器人领域的微调难题。传统SFT依赖稀缺且高成本的专家数据，且难以适应动态环境；而直接在线RL则因训练不稳定、计算开销大易导致性能崩溃。

iRe-VLA的创新在于三阶段循环：

（1）先用专家数据预训练VLA模型；

（2）在线RL阶段冻结视觉语言模型（VLM），仅训练轻量级动作头，高效探索新任务并收集成功轨迹；

（3）混合新旧数据全参数微调，避免灾难性遗忘。

关键设计包括隐空间对齐实现VLM与动作头无缝适配、LoRA参数高效微调，以及交替执行RL探索与SFT巩固，既保留RL的环境适应能力，又维持SFT的稳定性。

GRAPE：自动化偏好对齐

接下来是来自华盛顿大学等研究团队提出的GRAPE(Generalizing Robot Policy via Preference Alignment)，在实现“自动化偏好对齐”上的工作。

▲图6 | 真实世界任务演示

通过偏好对齐来泛化机器人策略，以减轻使用强化学习目标训练VLA的高成本，同时提供灵活性以实现定制化操控目标的对齐。

问题背景与核心挑战

传统VLA的局限：

泛化性不足：依赖专家数据集（SFT）的模仿学习，难以应对新物体、新环境或语义变化；
次优轨迹生成：专家数据隐含多目标冲突（如任务完成度、安全性、效率），直接模仿易导致策略混淆；
奖励设计困难：复杂任务的奖励函数需人工设计，成本高且难以覆盖动态场景。

GRAPE的目标：

无奖励建模的强化学习：通过轨迹偏好对比，绕过显式奖励函数设计；
多目标灵活对齐：支持用户自定义目标（如“避障优先”“路径最短”）；
自动化偏好生成：利用大模型（VLM/LLM）降低人工标注成本。

方法框架

▲图7 | GRAPE首先使用VLM将操作任务(顶部)分解为时间阶段，并确定每个子任务的关键空间点。给定用户指定的对齐目标，它会提示VLM为每个阶段生成成本函数。在迭代偏好优化(底部)期间，从基本VLA模型中采样离线轨迹，使用多阶段成本、自我评估和任务成功指标进行评分，并排序形成偏好。GRAPE然后迭代优化VLA模型，直到收敛。

其核心流程如下：

（1）轨迹采样与偏好生成

从初始监督微调（SFT）策略中采样多条轨迹，利用视觉语言模型（VLM）将任务分解为时序阶段（如抓取、移动、放置），并通过视觉模型（DINOv2/SAM）提取各阶段空间关键点（如物体抓取位置、障碍物边界）。

调用大模型（如GPT-4o）为每个阶段生成定制化成本函数（如碰撞距离、路径效率），结合策略自评估（轨迹生成概率）和任务成功标志，计算轨迹综合得分。

根据得分排序生成偏好对（优选轨迹与劣选轨迹），构建偏好数据集。

（2）轨迹偏好优化（TPO）

采用对比学习机制优化策略：通过最大化优选轨迹与劣选轨迹的似然差异，调整策略参数。

引入参考策略约束（初始SFT模型），限制优化幅度以避免策略崩溃，确保训练稳定性。

（3）迭代优化与自适应对齐

重复采样、评分、微调流程，逐步提升策略对齐多目标（如安全、效率）的能力。

在多阶段任务中，通过指数衰减聚合阶段成本，强化因果依赖（如早期阶段高成本将降低整体评分）。

技术优势