结构之法 算法之道

本文最开始属于此文《视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等》但考虑到DiT除了广泛应用于视频生成领域中，在机器人动作预测也被运用的越来越多，加之DiT确实是一个比较大的创新，影响力大，故独立成本文在ViT之前，图像领域基本是CNN的天下，包括扩散过程中的噪声估计器所用的U-net也是卷积架构，但随着ViT的横空出世，人们自然而然开始考虑这个噪声估计器可否用Transformer架构来代替2022年12月，William Peebles(

复杂的机器人任务可能需要多个单独的基础动作的序列。例如，如图1所示将多个物品装入袋子中需要依次抓取每个物体，将其移动到袋口附近，然后插入解决此类多阶段任务的一个常用框架是通过分层抽象，其中高级策略指挥具体行为，然后由低级策略执行这些行为 [36,68,69,18]

它可以捕捉颜色图像、深度图像、姿态数据以及手部关节数据，并将这些数据保存到指定的目录中首先，导入库"""示例用法"""import argparse # 用于解析命令行参数import copy # 用于复制对象import numpy as np # 用于数值计算import open3d as o3d # 用于3D数据处理import os # 用于操作系统相关功能。

所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法，如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并优化能够最小化能量景观的动作c)通过“条件去噪扩散过程在机器人行动空间上生成行为”，即该扩散策略策略不直接输出一个动作，而是推断出「基于视觉观察的动作-评分梯度」，进行K次去噪迭代。

且在和丁老师沟通中，还聊到清华高阳团队也复现了UMI，不过他们是完全用的国外比较昂贵的硬件(Franka机械臂、WSG50夹爪)，且即便如此，竟然也没达到UMI原始论文中的效果，至于原论文中的效果不好复现的原因，则众说纷纭了..此外，我还特地邀请了针对UMI做了改进工作的fastumi作者之一丁老师给大家在线分享，毕竟UMI本身有不少局限性，比如耦合性太强、原装硬件的成本太高(比如UR5e、WSG50夹爪)且不方便换成国产硬件、复杂的SLAM算法。至于高阳团队的复现UMI的工作对应的论文为《

24年9.28日下午，微信上的好友丁研究员和我说我当时(周六)和家人在李自健美术馆，故回复之：帅气，我晚上到家后看下我个人确实准备 这几天仔细研究下，毕竟我们之前也在基于umi/dexcap做二次开发，有很多契合点我深知这种感觉，因为当我司做出一个大模型应用或机器人解决方案，哪怕只是一篇博客时，都渴望和同行做各种深入交流而且正如技术合伙人姚博士所说，“fastumi数据采集方式的改进强，因为我们当时也考虑过t265，但确实是人手不足”

7.17，我司七月九周年司庆之际，我机器人方向的技术合伙人姚博士发我一篇文章，这篇文章提道：“约翰霍普金斯大学、斯坦福大学合作的手术机器人 Transformer(Surgical Robot Transformer ，SRT)，通过端到端模仿学习实现手术任务自动化。在时间落地时，这个研究基于达芬奇机器人上，实现了自动化：打结、针头操作、软组织操作”姚博士当时评论道：他们的策略就是我july博客内介绍过的ACT和diffusion policy，说明只要数据集足够，很多功能都能实现。

比如，在这个数据可视化的例子中，它展示了LeRobot是如何在Return（一个SDK和查看器，用于可视化与多模态数据流交互）上运行的，数据集来自Aloha项目（用于异构架构运行时自适应和安全深度学习的软件框架，主要目标是促进深度学习算法在异构低能耗计算平台上的实现，为最佳算法选择、资源分配和部署提供自动化。Cadene 发布了一些由Github上LeRobot库的代码提供的机器人功能的示例，它们都是在真实数据集上训练的。上述两个数据集都是在机器人公司Trossen Robotics的机械臂上收集的。

2023年7月，我司组建大模型项目开发团队，从一开始的论文审稿，演变成目前的两大产品线论文方面，除了论文审稿之外，目前正在逐一开发论文翻译、论文对话、论文idea提炼、论文修订/润色/语法纠错、论文检索机器人方面，我们1月份开始攻机器人、Q1组建队伍、5月份成功复现UMI和DexCap后，本月(即6月)总算要开始为工厂赋能了(目前已经谈好三个工厂的合作意向)

本文最早是属于《斯坦福Mobile ALOHA背后的关键技术：动作分块ACT算法的原理解析》的第二、第三部分，涉及到动作分块ACT的代码剖析与部署训练，但因为想把ACT的代码逐行剖析的更细致些，加之为避免上一篇文章太过于长，故把动作分块ACT的代码剖析与部署实践这块独立出来成本文。

如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(

根据上一篇文章《大模型机器人发展史：从VoxPoser、RT2到斯坦福Mobile ALOHA、Google机器人》可知，斯坦福Mobile ALOHA在其发布的论文中提到相当于Mobile ALOHA涉及到了这三大关键技术：ACT、Diffusion Policy、VINN，故本文分三个部分一一阐述。

且一年前，因为对ChatGPT背后技术原理巨大的「好奇心」，加之极高的「分享热情」、以及想写一篇关于其原理最全面 最深入 最细致文章的「决心」，彻底改变了过去一年的轨迹​博客证明了技术研究能力，课程证明了教学教研能力，项目证明了带队开发能力说干就干。

程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结作者：July--结构之法算法之道blog之博主。时间：2010年10月-2018年5月，一直在不断更新中..出处：http://blog.csdn.net/v_JULY_v。说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。前言开博4年有余，...