iDP3复现代码遥操作全流程（一）——遥操作全流程代码逻辑梳理（Teleop）

iDP3 可以分为部署应用和遥操作数据采集两大部分，源码： Learning & Deployment of iDP3 and Humanoid Teleoperation.

虽然遥操作部分采用的是 Fourier GR1 人形机器人，但也可以根据自己使用硬件做相应脚本修改

目录

1 硬件配置

2 软件代码

3 安装和使用

3.1 安装

3.2 使用

4 在自己机器人上部署

---

1 硬件配置

• Apple Vision Pro
• Fourier GR1 人形机器人，配备 Inspire Hands 作为末端执行器
• RealSense L515 相机，用于将机器人视角图像数据流传输回 Apple Vision Pro

2 软件代码

• The Vision Pro APP ：安装在 Apple Vision Pro 上
• The teleoperation code ：安装在 Fourier GR1 机器人上

训练数据在收集后会转换为对应训练 iDP3 的格式

原始数据示例存储在 Google Drive 中，可下载测试数据转换流程。此外还提供了训练数据示例存储在 Google Drive 中

3 安装和使用

3.1 安装

APP 安装参考： Vision Pro APP README.

机器人端安装参考： Teleoperation INSTALL

3.2 使用

1. 在机器人终端中，启动机器人服务：

 cd humanoid_teleoperation
 bash start_robo.sh

2. 在另一个机器人终端中，启动遥操作：

 cd humanoid_teleoperation
 bash collect_data.sh

3. 在 Apple Vision Pro 中打开应用并进入：

• 现在应该可以看到视觉数据流
• 左手打响指以开始远程操作，再次打响指以结束

4. 数据默认保存到 scripts/demo_dir

5. 使用脚本将数据转换为训练格式。首先在脚本中指定数据路径，例如在 humanoid_teleoperation/convert_data.sh 中设置：

# 原始数据路径
demo_path=/home/ze/projects/Humanoid-Teleoperation/humanoid_teleoperation/scripts/demo_dir/raw_data_example
# 转换后数据保存路径
save_path=/home/ze/projects/Humanoid-Teleoperation/humanoid_teleoperation/scripts/demo_dir/training_data_example

然后在终端中运行脚本：

 cd humanoid_teleoperation
 bash convert_data.sh

转换完成后，可以使用数据进行训练，详情见 our iDP3 repo.

4 在自己机器人上部署

同时提供了将遥操作适配到自己机器人上的攻略

只需提供基本配置和正运动学，即可远程操作人形机器人的手臂和手

更多详细信息请参考 Humanoid Arm Retarget