具身智能行为学习需要什么数据？（四）

5. 模拟

现实世界的 IL 方法需要大量数据，这些数据无法以低成本高效收集，否则对于现实世界的部署是不切实际的。现实世界的 RL 方法很有前景，但需要在现实世界中进行大量设置才能产生现实世界的奖励/成功和环境重置。

研究人员已经转向模拟环境来减轻数据采集的难度并加速数据收集过程。然而，这种策略也有自己的挑战，其中最重要的是模拟与现实之间的差距。当在模拟数据上训练的模型在现实世界的部署中表现不佳时，就会出现这种差距。造成这种差距的原因有很多，包括渲染质量的差异、物理模拟的不准确性以及以不切实际的目标属性和机器人运动规划器为特征的域转移。

模拟器对于 EI 至关重要，它提供了一种经济高效的实验方法，通过模拟潜在危险场景来确保安全，可扩展性以便在不同环境中进行测试，快速原型设计能力，为研究提供可控环境，生成用于训练和评估的数据，并为算法提供标准化基准。

传统的模拟器包括 Gazebo [4]、MORSE [8]、MuJoCo [9]、V-Rep/CoppeliaSim [11]、Pybullet [14]、AirSim [17]、MINOS [20]、Unity-ML Agents [26]、Furniture Bench [147]、Nvidia 的 ORBIT [117]、Aerial Gym [151]、Issac Sim [154] 和 Webots [153]。

扩散模型。在人工智能生成内容 (AIGC) 领域 [128, 181]，扩散模型 [75, 100, 131, 234] 取得了巨大成功，旨在通过迭代去噪过程从高斯噪声中生成图像，该过程由扩散过程和逆过程组成。扩散模型已扩展到其他模态，如视频、音频、文本、图形和 3-D 模型等。

NeRF。作为多视图视觉重建的新分支，神经辐射场 (NeRF) [105, 155, 237, 279] 提供了 3D 信息的隐式表示。扩散模型与 NeRF 的结合在文本-到- 3D 合成中取得了显著成果。

GS。高斯溅射 (GS) [230, 262, 281, 317, 351] 利用 3D 高斯基元进行显式场景表示并实现可微分渲染，其在实时渲染方面的表现优于 NeRF。

基于真实场景的模拟器有 Matterport3D [18]、AI2-THOR [21]、VirtualHome [24]、RoboTHOR [41]、SAPIEN [45]、ManipulaTHOR [55]、iGibson 1.0/2.0 [50, 65]、HM3D [68]、ThreeDWorld [74]、ProcTHOR [92]、Habitat 1/2/3 [36, 60, 199]、ManiSkill 1/2/3 [61, 122, 343]、RoboGen [205]、Humanoid Bench [264]、SIMPLER [283]、RoboCAS [311]、MetaUrban [314]、GRUtopia [316]、HoloDeck [330]、PhyScene [331]、GenSim 1/2 [193, 344]、BiGym [312] 和 SL-DSL [353]。

5.1 Sim2Real 迁移

具身智能中的 Sim-to-Real 适配/迁移是指将在模拟环境（数字空间）中学习的能力或行为迁移到现实世界（物理世界）的过程。该过程包括验证和改进在模拟中开发的算法、模型和控制策略的有效性，以确保它们在物理环境中稳定可靠地运行。

为了实现模拟到现实的适应，具身世界模型、数据收集和训练方法以及具身控制算法是三个关键要素。

模拟到现实的迁移有五种范式 [46, 202, 298, 310]：1）Real2Sim2Real 使用在“数字孪生”模拟环境中训练的 RL 来增强现实场景中的 IL；2）TRANSIC 可实现实时人为干预，以纠正机器人在现实场景中的行为；3）域随机化在模拟过程中引入参数随机化； 4）系统识别建立现实环境中物理场景的精确数学模型；5）Lang4sim2real 使用图像的文本描述作为跨领域的统一信号。