OK-Robot：零样本模块化家居机器人框架

OK-Robot：零样本模块化家居机器人框架

ok-robot An open, modular framework for zero-shot, language conditioned pick-and-drop tasks in arbitrary homes. 项目地址: https://gitcode.com/gh_mirrors/ok/ok-robot

项目介绍

OK-Robot 是一个零样本模块化框架，旨在将最先进的导航和操作模型有效结合，以在真实家庭环境中执行拾取和放置任务。该项目由Peiqi Liu、Yaswanth Orru、Jay Vakil、Chris Paxton、Mahi Shafiuallah和Lerrel Pinto等研究人员共同开发。OK-Robot在10个真实家庭中测试了170多个物体，总体成功率达到58.5%。

项目技术分析

硬件要求

• iPhone Pro：配备LiDAR传感器，用于环境扫描。
• Hello Robot Stretch：配备Dex Wrist，用于执行操作任务。
• 工作站：配备GPU，用于运行预训练模型。

软件要求

• Python 3.9
• Record3D：版本大于1.18.0，用于数据记录。
• CloudCompare：用于点云处理。

安装步骤

1. 获取Anygrasp的许可证和检查点。
2. 在工作站上安装必要的运行环境。
3. 验证工作站安装。
4. 在机器人上安装必要的软件包。
5. 获取新的校准URDF文件。

项目及技术应用场景

OK-Robot适用于需要自动化拾取和放置任务的场景，特别是在家庭环境中。例如：

• 智能家居：自动整理物品、递送物品。
• 辅助生活：帮助老年人或行动不便者完成日常任务。
• 物流仓储：在仓库中自动分拣物品。

项目特点

零样本学习

OK-Robot采用零样本学习技术，无需特定任务的训练数据，即可在新的环境中执行任务。

模块化设计

项目采用模块化设计，易于扩展和集成新的功能模块，如导航、操作和错误恢复。

高成功率

在10个真实家庭中测试，成功率达到58.5%，显示出其在实际应用中的潜力。

开源社区支持

项目鼓励社区贡献，未来计划改进文档、增加错误检测和恢复功能，并集成开源抓取感知模型。

总结

OK-Robot是一个具有高度潜力的开源项目，适用于多种家居自动化任务。其零样本学习和模块化设计使其在不同环境中具有广泛的应用前景。我们鼓励开发者加入社区，共同推动这一项目的发展。

---

参考文献

@article{liu2024okrobot,
  title={OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics},
  author={Liu, Peiqi and Orru, Yaswanth and Paxton, Chris and Shafiullah, Nur Muhammad Mahi and Pinto, Lerrel},
  journal={arXiv preprint arXiv:2401.12202},
  year={2024}
}

项目链接：OK-Robot GitHub

ok-robot An open, modular framework for zero-shot, language conditioned pick-and-drop tasks in arbitrary homes. 项目地址: https://gitcode.com/gh_mirrors/ok/ok-robot