m0_56661101的博客

远程操作是收集机器人学习演示所需数据的有力方法。远程操作系统的直观性和易用性对于确保高质量、多样性和可扩展性的数据至关重要。为实现这一目标，我们提出了一种沉浸式远程操作系统OpenTeleVision，使操作员能够以立体方式主动感知机器人的周围环境。此外，该系统将操作员的手臂和手部动作映射到机器人上，创造出一种仿佛操作员的意识被传送到机器人化身的沉浸体验。

这篇论文介绍了一种名为ORBIT的机器人学习统一模块化框架，使用了NVIDIA Isaac Sim技术。该框架提供了模块化设计，可轻松高效地创建具有逼真场景和高保真刚性和可变形物体模拟的机器人环境。作者们还提供了一系列不同难度的基准任务，从单阶段的柜门打开和布料折叠到多阶段任务如房间重组。为了支持不同的观测和动作空间，他们包括了具有不同物理传感器和运动生成器的固定臂和移动机械臂。ORBIT利用基于GPU的并行化，允许在几分钟内训练强化学习策略和收集大规模的演示数据集。

FoundationPose是一个统一的基础模型，用于6D对象姿态估计和跟踪，支持基于模型和无模型的设置。在测试时可以立即应用于未见过的新对象，无需微调，只要给出其CAD模型，或者捕获少量RGBD参考图像。得益于统一框架，下游姿态估计模块在两种3D模型设置中都是相同的，当没有CAD模型时，使用神经隐式表示进行高效的新视角合成。通过大规模合成训练，辅以大型语言模型（LLM）、一种基于transformer的新架构和对比学习公式，实现了强大的泛化能力。