Habitat-sim 系列解读

 

论文：https://arxiv.org/pdf/1904.01201

https://arxiv.org/pdf/2310.13724

代码：

GitHub - facebookresearch/habitat-sim: A flexible, high-performance 3D simulator for Embodied AI research.

Habitat: A Platform for Embodied AI Research 

这篇论文题为《Habitat: A Platform for Embodied AI Research》，由Manolis Savva等人撰写，发表于2019年。论文介绍了一个名为Habitat的平台，旨在为具身人工智能（Embodied AI）的研究提供支持。以下是该论文的详细解析：

​

1. 研究背景与动机

具身人工智能假设智能源自于代理与环境的互动以及传感运动活动。论文通过一个想象的情景引入具身AI的需求：一个家庭机器人需要完成视觉感知、语言理解和导航等任务，以应对复杂环境中的动态变化。相比于传统的“互联网AI”，具身AI更关注于让机器人在环境中采取行动，强调主动感知、长期规划和从互动中学习。

2. 平台组成

Habitat平台主要包括两个核心组件：

• Habitat-Sim：一个灵活的高性能3D模拟器，能够配置代理、传感器，并处理通用3D数据集。该模拟器在渲染Matterport3D场景时，单线程可达到数千帧每秒（fps），多线程在单个GPU上可超过10,000 fps。
• Habitat-API：一个模块化的高级库，用于具身AI算法的端到端开发，包括任务定义（如导航、指令跟随、问答）、代理配置、训练和基准测试。

3. 主要贡献

论文的主要工程贡献在于提供了一个大规模的平台，解决了许多之前实验中无法实现或难以实现的科学问题。具体贡献包括：

1. 在点目标导航任务中，重新比较学习方法与SLAM方法：论文发现，如果扩展学习方法的经验量级，学习方法的表现优于SLAM。
2. 跨数据集的泛化实验：通过在不同传感器配置下进行训练和测试（如Matterport3D和Gibson数据集），发现只有深度传感器（D）的代理能够跨数据集泛化。

4. 相关工作

论文总结了现有模拟平台的局限性，如任务、模拟平台和3D数据集之间的紧密耦合，代理配置的硬编码以及次优的渲染和模拟性能。Habitat旨在结合这些平台的优点，同时克服其不足之处，通过提供一个统一的平台来加速研究进展。

​

5. Habitat平台的设计与实现

5.1 设计要求

• 高性能渲染引擎：资源高效的渲染引擎，能够为多个并发操作的代理生成多通道的视觉信息。
• 场景数据集API：使平台与3D场景数据集无关，允许用户使用自己的数据集。
• 代理API：允许用户指定参数化的具身代理，定义其几何、物理和驱动特性。
• 传感器套件API：允许为每个代理配置任意数量的参数化传感器（如RGB、深度、接触、GPS、指南针传感器）。
• 场景与任务API：允许便携定义任务及其评估协议。
• 实现：C++后端与Python API结合，支持与常见学习框架的互操作，降低使用门槛。
• 容器化：支持集群中的分布式训练和用户代码的远程服务器评估。
• 人类作为代理：允许人类在模拟中充当代理，以收集人类行为数据并研究人类-代理或人类-人类互动。
• 环境状态操作：程序化控制环境配置中的对象及其相对布局。

5.2 平台架构

Habitat平台采用多层抽象结构，以满足上述设计要求：

• Habitat-Sim：负责加载3D场景、配置代理和传感器、模拟代理运动并返回传感数据。使用层次场景图表示所有支持的3D环境数据集。
• 渲染引擎：使用Magnum图形中间件库，实现高效的渲染管线，支持多传感器的视觉传感器帧渲染。

6. 性能与实验

Habitat-Sim在单线程模拟器线程中实现了每秒数千帧的性能，远超以往的室内环境模拟器（通常运行在每秒数十或数百帧）。通过多进程共享GPU，Habitat-Sim可达到每秒10,000帧，从而将瓶颈从模拟转移到网络训练的优化上。

7. 结论

论文通过提供开源平台和初步研究结果，希望能推动和指导未来具身AI的研究。

总结来说，这篇论文介绍了一个用于具身AI研究的高性能平台Habitat，通过结合灵活的模拟器和模块化API，显著提升了研究具身代理在复杂环境中导航和交互任务的能力。

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

论文《HABITAT 3.0: 人类、虚拟人物和机器人共栖的模拟平台》介绍了一个用于在家庭环境中研究人类和机器人协作任务的模拟平台。论文主要关注三个方面：精确的人形模拟、人类参与的基础设施和协作任务。

​

主要贡献

1. 精确的人形模拟:

   • 解决的挑战：建模复杂、可变形的人体，并确保外观和动作的多样性，同时保持高仿真速度。
   • 使用的技术：
     • 采用通过旋转关节连接的关节骨架进行碰撞测试。
     • 使用表面“皮肤”网格进行高保真渲染。
     • 参数化的身体模型以生成真实的身体形状和姿势。
     • 基于12个基础模型创建的虚拟人物库，具有多样的性别、体型和外观。
     • 运动和行为生成策略，用于导航、物体交互和其他动作。
   • 优化：通过缓存人类运动数据并使用投影技术将其适应新环境，达到了高仿真速度（1190 FPS）。

2. 人类参与的基础设施:

   • 允许通过鼠标/键盘或虚拟现实界面与模拟机器人进行真实人类交互。
   • 评估机器人策略的人类输入，使人类能够实时与机器人协作并评估AI代理的性能，场景逼真。

3. 协作任务:

   • 社会导航：机器人在未知环境中找到并跟随虚拟人物，同时保持安全距离。
   • 社会重组：机器人和虚拟人物协作重新排列场景中的物体，模拟如打扫房间的任务。
   • 自发行为：学习到的机器人策略能够适应新的虚拟人物和人类合作伙伴，展示出如给虚拟人物让路等行为，以便更有效地完成任务。

 

实验和结果

• 任务完成效率：学习到的机器人策略在与未知虚拟人物和展示未知行为的人类合作时，能够高效完成任务。
• 人类参与评估：使用虚拟人物的自动化评估能提供不同策略在与真实人类合作时的相对性能指示。
• 自发行为：观察到的如机器人给虚拟人物让路等行为，展示了系统在协作环境中的适应性和效率。

相关工作

• 具身AI模拟器：Habitat 3.0不仅包含机器人模拟，还包括人形模拟和人机交互，仿真速度比现有平台快。
• 人类参与的训练和评估：论文强调了交互评估和数据收集框架的重要性，区别于此前关注简化环境或离线评估的工作。
• 具身多代理环境和任务：Habitat 3.0支持真实的家庭任务和多代理协作，比之前的工作更进一步，通过整合机器人和虚拟人物在多样环境中的互动。

结论

Habitat 3.0提供了一个用于研究人类和机器人协作任务的强大平台，具有人形高保真模拟、互动的人类参与工具和全面的社会任务评估功能。该平台旨在鼓励具身AI社区更广泛的参与，推动人类与AI互动能力的研究发展。

 

 对比

《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》和《Habitat: A Platform for Embodied AI Research》对这两篇论文的对比解析：

1. 研究背景与动机

• 《Habitat: A Platform for Embodied AI Research》

  • 目标：提供一个高性能模拟平台，支持具身AI的研究，特别是视觉导航任务。
  • 动机：解决复杂环境中智能代理的视觉感知、语言理解和导航问题。
  • 核心关注：在高效的3D模拟环境中训练和评估AI代理，特别是在家庭和办公环境中。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 目标：扩展Habitat平台以支持人类、虚拟人物和机器人在同一环境中协作。
  • 动机：实现复杂的人机协作任务，增强模拟环境的真实性和互动性。
  • 核心关注：高保真的人形模拟、互动的基础设施，以及多代理协作任务的实现。

2. 平台组成

• 《Habitat: A Platform for Embodied AI Research》

  • Habitat-Sim：高性能3D模拟器，支持多传感器配置和多线程渲染。
  • Habitat-API：模块化API，支持任务定义、代理配置、训练和评估。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 基于Habitat平台，扩展了对虚拟人物和人类代理的支持。
  • 强调高保真的人形模拟，涵盖外观和行为的多样性。
  • 提供了互动基础设施，使人类可以通过VR或其他接口与模拟环境互动。

3. 主要贡献

• 《Habitat: A Platform for Embodied AI Research》

  • 提供了一个统一的、高效的模拟平台，用于具身AI研究。
  • 在点目标导航任务中展示了学习方法的优势。
  • 支持跨数据集的泛化实验，验证了深度传感器在不同数据集上的泛化能力。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 提供了高保真的虚拟人物模拟，并优化了人形模拟的速度。
  • 通过引入互动基础设施，使人类可以实时参与和评估AI代理的表现。
  • 支持多代理协作任务，如社会导航和社会重组，展示了复杂环境中的人机协作能力。

4. 实验与结果

• 《Habitat: A Platform for Embodied AI Research》

  • 在高效模拟中实现了每秒数千帧的性能。
  • 展示了通过多进程共享GPU实现的每秒10,000帧的性能。
  • 提供了学习方法与SLAM方法在导航任务中的对比实验。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 展示了学习到的机器人策略在与虚拟人物和人类合作时的高效任务完成能力。
  • 实验表明，Habitat 3.0能够支持复杂的人机协作任务，并展示了自发行为，如机器人为虚拟人物让路。

5. 相关工作与创新

• 《Habitat: A Platform for Embodied AI Research》

  • 强调了与现有模拟平台的对比，指出Habitat的高性能和模块化设计。
  • 提供了一个统一的平台，解决了任务、模拟平台和数据集之间的紧密耦合问题。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 扩展了Habitat平台的能力，支持人类、虚拟人物和机器人共存的环境。
  • 强调了虚拟人物的高保真模拟和人类参与的基础设施，提升了互动和协作的现实性。

6. 结论

• 《Habitat: A Platform for Embodied AI Research》

  • 通过提供高性能模拟平台，显著提升了具身AI的研究效率，尤其是在复杂环境中的导航和交互任务。
  • 希望推动具身AI领域的研究和应用。

• 《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》

  • 提供了一个强大的平台，用于研究复杂的人机协作任务。
  • 通过高保真模拟和互动基础设施，提升了AI代理在真实环境中的表现能力。
  • 旨在鼓励更广泛的具身AI研究社区参与，推动人类与AI互动能力的发展。

总结

《Habitat: A Platform for Embodied AI Research》主要关注提供高性能的模拟环境，用于具身AI的研究和训练；而《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》则进一步扩展了平台的功能，支持复杂的人机协作任务，通过高保真模拟和人类参与的基础设施，增强了AI代理的互动和协作能力。