结构之法 算法之道

如此前的博客所说，我司「七月在线」正在并行开发多个订单，目前正在全力做好每一个订单，因为保密协议的原因，暂时没法拿出太多细节出来分享​但可以持续解读我们所创新改造或的对象，即解读paper和开源库「当然 有些paper/库还没开始用，但也可以提前解读，作为关注了解而其中有一个订单涉及到行走之外的导航、避障，项目组在确定解决方案的过程中，看到了NaVILA这个工作，故本文来解读下。

如之前的文章所述，我司「七月在线」正在并行开发多个订单，目前正在全力做好每一个订单，因为保密协议的原因，暂时没法拿出太多细节出来分享​但可以持续解读我们所创新改造或二次开发的对象，即解读paper和开源库「当然 有些paper/库还没开始用，但也可以提前解读，作为关注了解而对于我司人形开发的订单，背后的机器人多半基于这三家：宇树、傅利叶、乐聚且无论咱们是用傅利叶集成的lerobot——，还是宇树集成的lerobot——，都是可以用的摇操代码avp_teleoperate「其基于此文《

本来针对Open-TeleVision的源码解析，是打算放在此文《从宇树摇操avp_teleoperate到unitree_IL_lerobot：如何基于宇树人形进行二次开发》中的，但考虑到为避免篇幅过长，故独立成此文。

这篇论文的链接，我当时快速看了一遍，还是有价值的一个工作(其应该有受humanplus工作的其他)，一直想做下解读来着，无奈过去一周一直在弄mamba2的解读，所以没来得及弄。码器捕捉图像和本体感觉标记的关系，Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人，并将关节位置目标。如下图所示，便是TeleVision的远程操作数据收集和学习设置。7.3日，我司大模型机器人(具身智能)线下营群里的一学员发了《左：我们的远程操作系统。

近期在抠lerobot源码时，看到其封装了ALOHA ACT、diffusion policy、π0时，我就在想，lerobot其实可以再封装下idp3我甚至考虑是否从我联合带的那十几个具身研究生中选几个同学做下这事，对他们也是很好的历练截止到，25年3.18日晚上，我把lerobot抠的差不多了，然后刚看到傅利叶fork了lerobot，并在fork的fourier-lerobot中，把idp3封装了进去，实在是卷啊..再加之工厂机械臂开发订单之外，我司近期接到的B端。

如此文《》的第三部分开头所说跑iDP3的整个流程分为：数据采集、数据转换、数据预处理，然后做训练、部署、可视化，具体而言，iDP3开源了两个代码仓库，一个是学习，一个是摇操作，其中对于后者，已经在这两篇文章里「」进行了详尽细致的分析，对于前者，则是本文。

如此文《UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用DiffusionPolicy预测动作(含代码解读)》的开头所说，我司正在借助iDP3做通用化改写，使得一套策略控制各种机器人更改通讯脚本避免每来一套机械臂，就得比较费劲的写对应的通讯脚本至于的介绍详见此文实际改写时目标是去适配iDP3，从而借助iDP3达到对外通用化的目的相当于而关于iDP3的介绍，以及iDP3的learning代码在之前的文章都详细分析过了「前者详见，后者详见」，故本文侧重介绍iDP3的部署、训练、预处理。

前言今25年1.14日起，我和同事孙老师连续出差苏州、无锡、南京、上海我们连连感慨，绝大部分工厂都将在今2025年开始做一系列智能升级、智能改造，包括且不限于线缆插拔、智能装配、打螺钉，而背后用的策略方法，也将从传统的深度学习方法，往大模型+模仿学习RL方面迁移，这是一股势不可挡的浪潮本想着​这几天出差完后把ipd3的源码也做下解读，想了下，只要有时间空闲，我便开始解读吧，于此，今天便有了本文。

问题表述作者将人形操作任务表述为一个离散时间马尔可夫决策过程，由一个元组定义：，其中是状态空间，是动作空间，是转移概率，是奖励函数，是折扣因子，是初始状态分布在他们的背景下，S是捕捉机器人和物体状态的原始RGB-D观测空间，A是人形机器人运动指令的空间，R是稀疏奖励函数，当任务完成时返回1解决任务的目标是找到一个策略π，以最大化从µ中抽取的广泛初始配置在测试时的预期任务成功率那又什么叫做开放世界呢。