路人甲326-CSDN博客

原创 Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

本文提出了一种基于扩散模型的机器人视觉运动策略学习方法（Diffusion Policy）。通过将扩散模型与机器人控制相结合，该方法实现了以下创新：1）采用后退视界控制框架，在预测长时程动作序列的同时保持对环境的响应能力；2）将视觉观察作为条件输入而非联合分布的一部分，显著降低计算量；3）设计了时间序列扩散变换器网络，克服传统CNN的过度平滑问题。该方法避免了基于能量模型（EBM）训练时常见的负采样和归一化常数计算难题，转而通过去噪分数匹配直接学习条件分布。实验表明，该策略在需要高频动作变化的任务中表现出色

2026-06-21 22:53:49 170

原创 Denoising Diffusion Probabilistic Models

本文解读了去噪扩散概率模型(DDPM)的核心思想及其在图像合成中的应用。该模型受非平衡热力学启发，通过正向加噪和反向去噪的马尔可夫链过程，学习数据分布。正向过程将真实图像逐步加噪为标准高斯分布，反向过程则通过训练神经网络预测噪声或均值，实现从噪声到图像的生成。文章重点分析了模型的关键参数化选择：固定方差以简化训练目标，将复杂的协方差预测转化为噪声预测的均方误差任务。虽然这种简化牺牲了对数似然性能，但获得了优异的样本质量。研究还揭示了扩散模型与去噪分数匹配的深层联系，为后续改进工作（如学习反向方差）奠定了基础

2026-06-21 16:53:09 224

原创 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

本文提出了一种低成本远程操作系统（ALOHA）和新型模仿学习算法ACT（Action Chunking with Transformers），用于精细双手操作任务。ALOHA系统采用两套低成本机械臂（总预算2万美元）实现关节映射遥操作，通过3D打印组件增强回驱功能。ACT算法通过动作分块（预测未来k步动作序列）减少复合误差，并引入Transformer架构的条件变分自编码器（CVAE）来建模动作多样性，测试时固定隐变量z=0以保证稳定性。实验表明，该方法在精细操作任务中显著优于传统模仿学习算法，实现了端到端

2026-06-17 23:22:25 196

原创 FLOW MATCHING FOR GENERATIVE MODELING

本文提出了一种新颖的生成建模方法Flow Matching (FM)，它通过直接学习概率路径的速度场来训练连续归一化流(CNF)。与传统的扩散模型相比，FM具有以下优势：1. 兼容更广泛的概率路径，包括但不限于扩散路径；2. 采用最优输运(OT)路径时，能实现更高效的训练和采样；3. 目标函数可通过条件流匹配(CFM)实现无偏估计。实验表明，基于OT路径的FM在图像生成任务上超越了扩散模型，实现了更快的收敛速度和更好的样本质量。该方法为生成模型提供了更灵活和高效的训练框架。

2026-06-16 17:41:34 361

原创 SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control

SONIC提出了一种基于大规模运动跟踪的通用人形控制框架，通过扩大模型规模和数据量实现自然全身运动。其核心贡献包括：(1) 实时运动规划器连接运动跟踪与任务执行，实现交互式控制；(2) 统一token空间支持VR设备、视频、文本等多模态输入。系统采用密集运动捕捉监督训练PPO策略，通过专用编码器处理不同输入模态并量化为通用token，再由解码器生成动作。实验表明，该系统能实现高精度远程操作和复杂运动控制，并能与视觉语言动作模型无缝集成。该工作验证了大规模运动跟踪作为人形机器人行为基础模型的潜力。

2026-06-08 22:18:54 260

原创 The Physical Intelligence Layer

The Physical Intelligence Layer博客介绍了物理智能层概念，指出当前机器人开发缺乏现成的基础模型和API，需要从零构建整个技术栈。作者提出通用机器人基础模型（如π系列）可提供现成的物理智能层，大幅降低开发门槛。通过与Weave Robotics和Ultra两家机器人公司的合作案例，展示了这些基础模型在现实场景中的优异表现和通用性，预示着机器人应用将迎来爆发式增长。

2026-05-26 16:33:46 27

原创 Moravec‘s Paradox and the Robot Olympics

摘要：莫拉维克悖论指出，对人类而言简单的感知运动技能（如抓取物体）对AI极其困难，而复杂的认知任务（如数学推理）反而相对容易。这一现象源于人类进化过程中对物理交互的高度适应。Pi团队在机器人奥运任务中展示了如何通过结合多模态大模型的先验知识与多样化物理行为数据来突破这一瓶颈。他们强调，物理智能无法仅靠编程实现，必须通过大量实践数据学习。随着基础模型的进步，低级技能问题解决后，AI将能像人类一样结合物理与认知能力理解世界。

2026-05-26 14:57:01 391

原创 RL Token: Bootstrapping Online RL with Vision-Language-Action Models

本文提出了一种结合视觉-语言-动作模型(VLA)与强化学习的高效在线学习方法。核心创新是引入RL令牌(RLT)作为VLA与强化学习的接口：1)通过自编码器结构压缩VLA输出为紧凑的RL令牌表示；2)基于该表示训练轻量级的行动者-评论家网络；3)使用正则化器将学习策略锚定在VLA建议动作附近。这种方法既保留了VLA的预训练知识，又能通过在线强化学习快速优化策略。实验表明，该方法仅需数小时实际交互即可实现高效微调，在保持VLA感知能力的同时显著提升了任务性能。

2026-05-26 12:28:22 360

原创 MEM: Multi-Scale Embodied Memory for Vision Language Action Models

本文提出多尺度具身记忆模型(MEM)，通过融合视觉和语言模态实现长视野机器人控制。系统采用双路径架构：1)视频编码器压缩短期视觉记忆，通过改进的ViT结构实现时空注意力高效计算；2)语言记忆机制记录语义事件，支持分钟级任务规划。创新性地将动作预测分解为高级策略（基于语言记忆生成子任务）和低级策略（执行短期动作），在保持预训练模型兼容性的同时，显著扩展了记忆时长和处理能力。该方法有效解决了长视野任务中的部分可观测性和自遮挡问题，计算复杂度从O(n²K²)降至O(Kn²+nK²)。

2026-05-25 17:35:47 342

原创 Emergence of Human to Robot Transfer in Vision-Language-Action Models

本文提出了一种新颖的人机迁移方法，通过视觉-语言-动作(VLA)模型的协同训练，实现人类示范到机器人执行的跨本体迁移。不同于传统方法强制转换人类动作，该方法将人类视为另一种本体形态，利用大规模预训练使VLA模型自动学习跨本体表示。研究表明，当VLA模型在多样化场景和任务上充分预训练后，会自然产生人机迁移能力。实验证明该方法能显著提升泛化性能，在仅有人类数据的情况下，性能提升近一倍。关键技术包括使用视觉SLAM重建人类动作，并采用文本子任务标注人类视频数据，与机器人远程操作数据保持格式一致。

2026-05-21 18:49:20 189

原创 π∗0.6: a VLA That Learns From Experience

本文提出RECAP方法，通过优势条件策略实现视觉语言动作模型(VLA)的强化学习训练。该方法整合演示数据、自主收集数据和专家干预，首先通过离线RL预训练通用VLA模型π*0.6，再针对下游任务进行优化。核心创新在于：1)使用多任务价值函数Vπref评估状态价值；2)基于优势函数Aπ生成改进指标It指导策略优化。实验表明，该方法能显著提升任务成功率和执行效率。相比传统方法，RECAP通过价值函数引导的优势条件训练，实现了从经验中持续改进的能力，为真实机器人任务提供了一种有效的学习框架。

2026-05-21 16:10:39 319

原创 Training-Time Action Conditioning for Efficient Real-Time Chunking

本文提出了一种改进的训练时动作调节方法(Training-time RTC)，通过模拟推理延迟来优化实时分块性能。该方法在训练阶段随机采样延迟时间d，将动作序列分为前缀(真实无噪声)和后缀(需去噪)，仅对后缀计算损失。相比基于伪逆引导的推理时RTC，该方法消除了计算开销，同时保持了相同接口。核心改进包括：1)允许不同时间步的流匹配；2)固定前缀动作；3)屏蔽前缀损失。实验表明，在高延迟场景下，训练时RTC性能更优。该方法可直接替代原有方案，无需改变模型参数数量。

2026-05-18 19:51:59 238

原创 Real-Time Execution of Action Chunking Flow Policies

本文提出了一种实时动作分块流策略(RTC)，可在不重新训练的情况下适配各类基于扩散或流的视觉语言模型。该方法通过异步执行机制，在执行当前动作块时预生成下一动作块，并采用"冻结-修复"策略确保动作连续性。创新点包括：1)设计了基于Kinetix模拟器的新基准测试12项动态任务；2)引入伪逆引导技术(ΠGDM)实现动作块间的平滑过渡。实验表明RTC能有效降低高延迟场景下的动作突变，提升执行流畅度，尤其在精细操作任务中优势显著。但该方法存在计算开销较大、仅适用于特定策略类型等局限性。

2026-05-18 14:55:27 335

原创 Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better

本文提出了一种知识隔离的视觉-语言-动作(VLA)模型训练方法，通过分离离散动作表示学习和连续动作生成来解决现有方法训练效率低、知识迁移差的问题。核心创新在于：1）使用离散动作标记微调VLM主干进行表示学习；2）采用流匹配动作专家生成连续动作但不回传梯度；3）支持多模态数据协同训练。实验表明该方法能实现快速训练（离散监督保护VLM知识）、快速推理（小动作专家输出连续动作）和更好泛化（VLM数据增强语义理解）。相比传统方法，在保持高频连续控制能力的同时，显著提升了训练效率和语言指令跟随性能。

2026-05-13 18:48:46 353

原创 π0.5: a Vision-Language-Action Model with Open-World Generalization

《π0.5：开放世界泛化的视觉-语言-行动模型》提出了一种新型机器人控制框架，通过协同训练实现复杂任务的跨场景泛化。该模型创新性地结合了视觉语言理解与流匹配动作生成技术，在预训练阶段使用离散标记表示动作以提高效率，在推理阶段则通过动作专家模块生成连续控制信号。实验表明，π0.5能在未经训练的厨房、卧室等全新环境中执行10-15分钟的多阶段任务，其泛化能力源于异构数据源的协同训练策略，包括其他机器人数据、语义子任务预测和网络数据。相比前代模型π0，π0.5通过混合训练范式（离散预训练+流匹配微调）显著提升了长

2026-05-11 14:18:43 307

原创 Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models

本文提出HiRobot分层交互式机器人学习系统，采用视觉语言模型(VLM)实现复杂指令的层次化处理。系统通过PaliGemma-3B基础模型构建：高层VLM将用户指令分解为原子技能并处理实时反馈，低层VLA模型执行具体动作。创新点在于数据生成方法——基于真实机器人轨迹切分技能片段，利用VLM反向生成可能的用户指令及交互响应，构建训练数据集。该系统能处理开放式指令（如"给我甜食"）和情境反馈（如"这不是垃圾"），相比直接指令跟随方法更具灵活性。实验表明该分层架构有效提升

2026-05-09 17:19:38 220

原创 Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

本文提出了一种针对腿式机器人的统一控制策略，通过强化学习在仿真环境中训练动作生成系统，实现了不依赖力传感器的力与位置联合控制。该策略利用历史状态估计外力，并通过位置和速度调整进行补偿，支持位置跟踪、力应用等多种操纵行为。系统采用分层架构：高层模仿学习策略基于RGB图像、机器人状态和估计力生成力和末端位置指令；低层统一策略执行具体控制。针对机器人的末端位姿和基座分别采用刚度系数和阻尼系数建模，但未考虑二者相互作用力。奖励机制根据接触状态与步态相位的一致性给予正负反馈，并通过指数函数处理关节位置误差。

2026-05-09 10:53:36 198

原创 pi0-FAST：FAST: Efficient Action Tokenization for Vision-Language-Action Models

本文提出了一种基于离散余弦变换(DCT)的机器人动作标记化方法FAST，通过频率空间压缩降低动作序列相关性，解决了传统离散化方法在高频灵巧任务中的失效问题。研究进一步开发了通用分词器FAST+，在百万级真实轨迹上训练，可处理不同机器人和控制频率的动作序列。实验表明，该方法使自回归VLA模型训练效率提升5倍，性能媲美扩散模型。技术核心是将DCT系数矩阵按频率优先展平后应用BPE编码，仅需学习词汇表参数，同时开源了实现代码。该方法为连续动作信号的压缩标记化提供了新思路。

2026-04-30 11:13:35 368

原创 HumDex: Humanoid Dexterous Manipulation Made Easy

HumDex是一种便携式人形机器人远程操作系统，采用基于IMU的运动跟踪技术实现高精度全身控制，仅需15个轻量追踪器。系统创新性地提出基于学习的神经重定向方法，通过小型MLP网络将人类指尖动作实时映射到20自由度机器人手部，无需手动调参即可生成自然动作。该系统还能高效采集人体运动数据，支持两阶段模仿学习框架：先预训练获得通用先验，再微调适应具体执行。实验表明，HumDex能采集更优质的数据，并提升策略在分布外场景的鲁棒性。该系统为灵巧操作提供了简单高效的解决方案。

2026-04-29 16:00:29 344

原创 π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

本文介绍了一个具有应急能力的通用机器人基础模型π0.7。该模型通过创新的训练方法和架构设计，显著提升了机器人的指令跟随和任务执行能力。主要创新点包括：采用多样化的上下文提示训练，包括语言指令、元数据和多模态信息（如子目标图像），使模型能灵活适应不同质量的输入数据。提出知识隔离训练方法，通过离散交叉熵损失稳定视觉语言模型的训练，同时保持动作专家的灵活性。引入动态子目标图像机制，结合真实和生成图像训练，有效解决了训练与测试场景的差异问题。开发了包含5B参数的多模态架构，整合了视觉编码器、记忆系统和动作预

2026-04-22 17:40:10 470

原创 GR00T N1.7

代码开源，但没有research blog了。GR00T N1.7的新增功能GR00T N1.7基于N1.6构建，具有新的VLM骨干网和代码级改进。N1.6的主要变化新的VLM骨干网：Cosmos-Reason2-2B（Qwen3 VL架构），取代了N1.6中使用的Eagle骨干网。支持灵活的分辨率，并以其原生纵横比对图像进行编码，无需填充。简化的数据处理管道（processing_gr00t_n1d7.py）。为ONNX和TensorRT添加了完整的管道导出，并提高了频率。

2026-04-21 15:04:10 615

原创 π0: A Vision-Language-Action Flow Model for General Robot Control

本文提出π0模型，一种结合视觉-语言模型(VLM)、流匹配技术和动作分块架构的通用机器人控制框架。通过预训练混合数据集（包含灵巧操作数据），模型采用PaliGemma初始化的VLM主干和动作专家模块，支持50Hz高频控制复杂连续动作。创新性地引入基于流匹配的动作表示方法，配合双损失机制（流匹配损失+交叉熵损失）提升性能，可适配不同机器人平台完成多样化任务。实验验证了各组件（VLM/流匹配/动作分块）的有效性，尤其在衣物折叠等精细操作任务中表现突出。该工作为机器人控制提供了统一的多模态解决方案。

2026-04-20 10:11:30 346

原创 VLA入门&&Physical Intelligence (π)/PI系列模型解读

物理智能（Physical Intelligence）正在推动通用AI进入实体世界，其核心是通过视觉-语言-动作（VLA）模型实现机器人控制。关键进展包括：RT-1/2利用13万条真实机器人轨迹和互联网视觉语言数据；Octo整合OpenX-Embodiment的80万轨迹；OpenVLA基于97万条轨迹构建；PI0-Fast创新性采用动作信号压缩技术；HiRobot通过分层VLM架构处理复杂指令；最新PI*0.6通过Recap框架持续优化。这些模型通过海量多模态数据训练（如RDT-1B含100万+轨迹），逐

2026-04-16 15:01:40 326

原创 DreamZero&GR00T N2前戏：World Action Models are Zero-shot Policies

摘要：DreamZero提出了一种基于视频扩散模型的世界动作模型(WAM)，通过预测未来状态和行为实现实时闭环控制。相比传统视觉语言模型(VLA)，WAM利用14B参数的自回归视频扩散模型，以7Hz频率执行控制任务。关键技术包括：1)采用自回归架构和KV缓存提高推理速度；2)提出DreamZero-Flash方法，通过噪声解耦训练使模型能在噪声视觉环境下预测准确动作；3)避免双向模型固有的模态对齐问题。实验表明该方法在保持原始帧率的同时，实现了视频、动作和语言的精确对齐，解决了传统方法泛化性差和生成速度慢的

2026-04-15 17:34:59 418 1

weixin_65456454的博客