导航任务在Habitat-sim任务中的实现
官方教程
Habitat是一个高效的真实的3D模拟器,旨在促进具身智能的研究。它相较于其他的仿真环境的优势在于速度非常快,采用单个线程可以达到每秒几千帧。
官方视频教程链接
官方jupyter文件链接
概述
这一部分旨在通过一系列编码说明如何使用Habitat-sim进行导航。
重要概念
Habitat-sim用于建模在三维室内仿真环境中进行的具体代理和任务领域。
- Agent:虚拟的具有一套传感器的实体代理(例如,机器人)。它可以观察环境并能够执行改变代理或环境状态的动作;
- Sensor:与特定Agent相关联,能够以指定频率返回环境中的观察数据;
- Scene:虚拟的3D环境,其中包含Agent、场景网格、物体和传感器的三维环境;
- SceneGraph:对Scene进行管理是模拟器中的代码数据结构,场景的分层表示类似于一个树,将环境组织成区域和物体。可以通过编程方式操作。所有场景组件都存在于场景图上;(不能直接被操作)
- Simulator:仿真器后端的实例。给定一组已配置的代理和场景图的动作,可以更新代理和场景图的状态,并为代理拥有的所有活动传感器提供观察。
1、Hello World程序
Habitat Sim由三个重要概念组成:
- 可配置的具身Agent:需要进行配置的虚拟具身Agent。在导航方面,Agent可能是机器人或其他虚拟Agent,其行为和能力可以进行定制;
- 多种传感器:仿真器支持多种传感器类型,用于模拟代理对环境的不同感知方式。这些传感器可以包括视觉传感器(如RGB摄像头)、深度传感器等,以模拟代理在环境中的感知能力;
- Scene场景:仿真器可以处理的通用三维数据集,例如 Matterport、Gibson 和 Replica 数据集。场景是仿真的虚拟环境,包括场景网格、物体、代理和传感器。
1.0.1 基础设置Basic settings
首先,我们指定要加载的场景,指定一个默认代理,并描述一些基本的传感器参数,例如观察的类型、位置以及分辨率(宽度和高度)。
# This is the scene we are going to load.
# we support a variety of mesh formats, such as .glb, .gltf, .obj, .ply
# 加载场景文件
test_scene = os.path.join(
data_path, "scene_datasets/mp3d_example/17DRP5sb8fy/17DRP5sb8fy.glb"
)
# 指定默认的Agent和几个传感器参数,如与Agent的相对位置
sim_settings = {
"scene": test_scene, # Scene path,场景路径
"default_agent": 0, # Index of the default agent,默认的Agent索引值
"sensor_height": 1.5, # Height of sensors in meters, relative to the agent,传感器参数与Agent的相对位置
"width"