iGibson 2.0：以目标为中心的模拟，用于机器人学习日常家务

21年11月来自斯坦福的论文“iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks”。

通过使用模拟环境来开发和训练机器人学习方法，具身智能的最新研究得到了推动。然而，使用模拟将注意力转移到只需要机器人模拟器可以模拟的任务上：运动和物理接触。iGibson 2.0，是一个开源模拟环境，通过三项关键创新支持模拟更多样化的家务任务。首先，iGibson 2.0 支持目标状态，包括温度、湿度、清洁度以及切换和分片状态，这些状态对于涵盖更广泛的任务必不可少。其次，iGibson 2.0 实现了一组谓词逻辑函数，将模拟器状态映射到逻辑状态，如煮熟或浸泡。此外，给定一个逻辑状态，iGibson 2.0 可以对满足该逻辑状态的有效物理状态进行采样。此功能可以以最小的努力生成潜在的无限任务实例。采样机制使场景能够在语义上有意义的位置更密集地填充小目标。第三，iGibson 2.0 包含一个虚拟现实 (VR) 界面，可让人类沉浸在其场景中以收集演示。因此，可以收集人类对这些新类型任务的演示，并将其用于模仿学习。评估 iGibson 2.0 的新功能，使得机器人能够学习新任务。

如图所示：iGibson 2.0 模拟扩展的状态，研究和开发新任务，比如做饭。状态映射为符号表征，其支持任务新实例的采样。通过一个策略学习的VR接口，开源提供任务的演示。

为了执行家务，智体需要改变物体的状态，而不仅仅是改变其姿势。iGibson 2.0 扩展了物体的五个附加状态：温度 T、湿度 w、清洁度（灰尘度 d 或污渍度 s）、切换状态 TS 和分片状态 SS。虽然这些状态中的一些可能因物体的不同部分而不同，但在 iGibson 2.0 中，简化它们的模拟并采用以物体为中心的表示：模拟器为每个模拟物体（刚性、柔性或铰接式）维护每个扩展状态的单个值。这种简化足以模拟真实的家务，例如烹饪或清洁。假设扩展属性是潜在的：智体无法直接观察到它们。因此，iGibson 2.0 实现了一种机制，可以根据物体的潜扩展状态改变其外观（如图所示），以便视觉引导的智体可以从传感器信号中推断出潜状态。
温度

湿度

进一步在 iGibson 2.0 中规定，每个模拟对象都应该是 WordNet 中现有对象类别的实例 [35]。这种语义结构能够将特征与同一类别的所有实例关联起来 [36, 37]。例如，通过注释每个类别需要哪些扩展状态来进一步简化扩展状态的模拟。并非所有对象类别都需要所有五个扩展状态（例如，对于大多数感兴趣的任务，温度对于非食品类别来说不是必需的/相关的）。每个对象类别所需的扩展状态由 WordNet 层次结构中的众包标注程序确定。

清洁度

转换状态

分片状态

iGibson 2.0 中的新扩展对象状态足以模拟室内环境中的一组新家庭活动。但是，扩展状态（例如温度或湿度水平）与家庭设置中活动的自然描述（例如烹饪苹果）之间存在语义差距。为了弥补这一差距，定义一组函数，将扩展对象状态映射到单个对象和一对对象的逻辑状态。逻辑状态在语义上落地于表示诸如煮熟或尘土飞扬等属性的常见自然语言。

逻辑谓词列表，涵盖了一对对象之间的运动状态（InsideOf、OnTopOf、NextTo、InContactWith、Under、OnFloor）、与铰接对象内部自由度相关的状态（Open）、基于对象温度的状态（Cooked、Burnt、Frozen）、湿度和清洁度（Soaked、Dusty、Stained）以及功能状态（ToggledOn、Sliced）。它们允许 iGibson 2.0 将物理模拟状态映射到相应的逻辑状态。