结构之法 算法之道

近年来，配备视觉能力的机器人控制模型引起了广泛的兴趣，比如7-RT-1,8-RT-2-将7D动作分解为离散的token，并使用VLM PaLI-X [13]像语言token一样自回归地预测它们30-Openvla-采用和RT-2类似的方法，对动作进行tokenizing，并在Open-X-Embodiment数据集[48]上训练Prismatic VLM其中，大规模视觉-语言-动作（VLA）模型的发展[

一个多月前，有朋友曾说，一个月内，π0 会开源来着，当时虽然觉得不太可能，但还是抱着期待可还是没开..没开源必然是有点遗憾，故这两天我一直在考虑、对比，看目前哪个vla最逼近π0，然后借鉴π0的思路，去改造该vla前两天又重点看了下openvla，和cogact，然后对此文增加了不少解读内容，且发现总之，各种vlm + 各种动作预测头/方法，会出来很多vla。

过去的这两年，工作之余，我狂写大模型与具身的文章，加之具身大火，每周都有各种朋友通过CSDN私我帮忙：要么是做科研想复现，要么是工厂想做自动化生产线的智能升级，要么是想通过机械臂/人形解决各种业务场景问题让我感慨：二零一一年，因为算法，首次有「天下无人不识君」的感觉，过去这两年，因为大模型和具身机器人，再次有了这感觉具身的论文解读过很多之后，便会发现整个具身的技能图谱大概如下所示(建议按照从下至上的顺序看)其中，action head有基于LSTM的基于diffusion model的。

在此文之前，我花了一天半，详细解读了清华这个机器人扩散大模型RDT，包括其每一个附录，并在上文中预告说：​下一篇是一个3B的机器人大模型打通7种不同品牌的机械臂，这几个工作宣告机器人真正进入大模型时代故，本文来了。

许多研究使用从机器人收集的大量轨迹数据集来训练策略这些工作主要集中在单一的embodiment上，而Octo则在跨多个体现组装的机器人数据集上训练策略，增加了训练数据集的有效规模，并允许对多种机器人设置进行微调最近，论文集中于扩展机器人策略的泛化能力。多项研究利用多样的非机器人数据或预训练的视觉-语言基础模型来提升策略对新场景和任务的泛化能力[86,103,96,16,38,11,84,36,4,37,7,3,46,15,23]

随着对视觉语言机器人研究的深入，发现Google的工作很值得深挖，比如RT-2​想到很多工作都是站在Google的肩上做产品和应用，​Google真是科技进步的核心推动力，做了大量大模型的基础设施，服故有了本文，单独汇总Google在机器人领域的重大结果、进展。

在此文《》的1.1节开头有提到机器人收集训练数据一般有多种方式，比如Dexmv物理本体，有的翻译为embodiment38-Dexmv即embodiment-agnostic keypoint，49考虑到「从人类视频中学习」早已成为机器人的主流训练方法之一，故打算系统阐述以下这个课题，不然很多朋友可能只是理解其字面意思，但到底具体怎么个模仿学习，则不一定知其里，而通过本文系统的阐述，可以让大家更深刻的理解模仿学习背后更深的细节。

今年十一7天假期期间，一半的时间都在改本博客内的上一篇文章《从Fast-UMI到Diff-Control：分别改进UMI的硬件及其所用的Diffusion policy(含ControlNet详解)》，改完之后，接下来计划要写的博客包括且不限于。然10.7日晚，又无意中看到了「UMI on Legs和Helpful DoggyBot」这两个工作，前者把UMI机械臂放到机器狗背上(适合我司之前去一个客户机房的场景)，后者把夹爪放到机器狗嘴里。

ReKep 的一个实例是一个函数，它将关键点数组(记作 k)映射到一个无界的成本，其中表示约束已满足函数实现为一个无状态的 Python 函数，包含对关键点进行的 NumPy [123] 操作，这些操作可能是非线性和非凸的本质上，ReKep 的一个实例编码了关键点之间的一种期望的空间关系，这些关键点可能属于机器人手臂、物体部件和其他代理然而，一个操作任务通常涉及多个空间关系，并且可能具有多个时间上相互依赖的阶段，每个阶段都包含不同的空间关系。

Figure 的创始人 Brett Adcock 和 AI 团队的负责人 Corey Lynch 在 X 上解释了此次视频中机器人互动背后的原理此次的突破，由 OpenAI 与 Figure 共同做出。OpenAI 提供负责提供视觉推理和语言理解，而 Figure 的神经网络提供快速、低水平、灵巧的机器人动作机器人所做出的所有行为都是出于已经学习过，内化了的能力，而不是来自远程操作，具体则如下Figure 的机载摄像头以 10hz 的频率拍摄图像。