直播回顾 | Real2Sim2Real 技术进展与开发者实用技巧

直播回顾 | Real2Sim2Real 技术进展与开发者实用技巧

原创 LimX Innovators LimX Innovators 2025年04月17日 17:42 广东

数据是验证具身智能领域 Scaling Laws 的关键要素。然而，直接依赖真机采集数据，不仅耗时耗力，且伴随高昂时间、硬件及人力成本。

围绕这个话题，英伟达提出了数据采集金字塔模型：由互联网数据打基础，仿真数据强化，再用真机数据精调——借助仿真环境，数据采集效率大幅提升。

但与此同时，仿真环境与真实物理世界之间的巨大差异（Sim2Real Gap）也带来了新的挑战。如何缩小这道鸿沟，让仿真数据真正服务于现实部署，形成Real2Sim2Real（从真实到仿真再回到真实）的高效闭环，成为了开发者们共同关注的话题。

首期LimX Innovators 具身智能技术分享，我们特别邀请了具身智能研发工程师 Eckes 和产品经理 Bruce，围绕SplatSim、Re3Sim 和 DISCOVERSE 三大仿真领域最新进展，带来Real2Sim2Real 实战技术洞察与解密。深入剖析了如何构建高效仿真环境、优化 Scalling Laws 策略、缩小 Sim2Real Gap，并最终实现仿真成果在真实机器人的成功部署，为具身智能开发者提供切实可行的方法论与实践路径。

扫码回顾「具身智能大咖直播-Real2Sim2Real」

📢 太长不看：「5个开发者最关心的问题总结」

「01」理清三个概念：什么是Real2Sim, Sim2Sim, Sim2Real？

• Real2Sim

  将真实的物理世界在仿真环境中构建、复刻。

• Sim2Sim

  使用不同的仿真平台验证具身智能训练模型的泛化能力，例如将在 Isaac Sim 训练的模型在 Mujoco 中验证其部署性能。

• Sim2Real

  将具身智能在仿真环境中学习的技能部署到物理世界。

「02」3个环节中，需要关注的典型问题有哪些？

• 在Real2Sim这一环节中，不仅要重点关注在仿真环境中复刻真实世界的视觉效果，还需要注意交互物体的几何形状和物理属性，以确保具身智能操作策略的精度及准确性；

• Sim2Sim和Sim2Real则都是在验证训练模型的泛化性，如果模型在跨平台/物理世界中部署的表现比训练时的表现差，可以尝试修改机器人的仿真文件，或者探索不同的 Domain Randomization 参数组合。

「03」在Real2Sim2Real领域，当前有哪些新的进展可以帮助科研人员和开发者？

我们将通过三篇Paper来进行介绍，首先是SplatSim这个全新框架的出现。

仿真环境所合成的视觉数据（RGB图像）与真实世界的视觉数据存在明显差异，是实现Sim2Real迁移和部署的巨大挑战。

通过SplatSim，首先在仿真环境中大量采集操作运动轨迹，再用 3DGS 对整个仿真场景的RGB图像进行渲染，以合成高度逼真的仿真视觉数据，保证仿真数据的可拓展性和成本效益。

最终通过模仿学习进行操作策略训练，得到可以部署在真实世界的模型。

论文链接：https://arxiv.org/abs/2409.10161

项目链接：https://splatsim.github.io/

第二篇的工作成果是Re3Sim。

我们通常会将仿真场景拆解为三部分：机器人（执行器）、机器人所处的环境、机器人将要进行交互的物体。而执行器在仿真环境中与真实世界的差异较小，因此Re3Sim主要关注交互环境、物体的几何形状与性质在仿真环境中的高保真转化，通过3D重建技术，减少仿真与真实世界的差距，从而实现快速场景重建和实时渲染，低成本、大规模地生成仿真数据，提升仿真环境中训练的策略在真实世界任务中部署的成功率。

论文地址：https://arxiv.org/html/2502.08645v3

项目地址：http://xshenhan.github.io/Re3Sim/

第三篇我们来了解DISCOVERSE。

相较于SplatSim和Re3Sim，DISCOVERSE将Real2Sim2Real放在了更为宏大的量级来进行。DISCOVERSE 的优势同样也是结合了 3DGS 所带来的真实场景的几何形状和外观，但相较于前两者大概用5个以内的样例来验证Sim2Real的效率，DISCOVERSE 整合了巨量的机器人（执行器）、交互环境、交互物体的仿真数据，三者可以任意搭配组合。当场景数据量大幅提升后，训练模型部署到真实世界中的效率也将大大提升。

项目地址：https://air-discoverse.github.io/

总的来说，SplatSim是对整个操作场景的RGB图像用 3DGS 进行渲染，Re3Sim 除了以 3DGS 渲染背景，也专注于物体的几何形状与性质在仿真环境中的高保真转化，DISCOVERSE则更注重仿真数据的量级和工具整合。

「04」这些进展对于开发者的工作产生了什么影响？

Real2Sim2Real领域的新进展，降低了数据采集的成本与难度，提升了在仿真环境中实现具身模型训练的可能性及训练结果的可靠性。

而除了上面讲到的操作训练之外，以双足机器人的运动控制为例，在真实世界中，受限于相机视角、机器人本体运动状态，导致获取的信息和数据有局限。而在仿真环境中，我们可以获得几乎所有的“特权信息”，基于这些特权信息，可以快速训练出一个能完成对应任务的模型，加速了机器人学习的进程。

而到Sim2Real这一步，由于这个模型依赖于很多特权信息，但这些信息在真实世界中无法获取，导致模型无法直接部署到真机。

但正如学生模仿老师肯定要比自己去摸索更快，我们可以建立一个“学生模型”，与真机部署时一样，“学生模型”能获取的信息是有限的，而仿真环境中训练出来的“老师模型”则可以告诉“学生模型”怎么做才对，从而让“学生模型”快速蒸馏出对应的技能，再部署到真实世界，加速了机器学习的速度。

借助Real2Sim2Real领域的新进展，这套“Teacher-Student”框架将会加速具身领域模型开发的效率。

了解Teacher-Student框架：https://mp.weixin.qq.com/s/M2wjP6FVreJ6QY9vEiVO5g

补充阅读：https://sites.google.com/view/dextrah-g

「05」作为开发者，什么样的人形机器人能够大大提升科研效率？

自由度、灵活度高，且构型与人类高度相似的人形机器人。这样便于利用人类产生的海量数据，学习人类的技能和操作区间。

同时由于构型优势，便于机器人利用仿真环境中采集自人类社会场景的数据，低成本、高效率地学习技能，降低对真机采集数据和训练的需求。训练结果的Sim2Real Gap 小，有利于模型的部署。

欢迎留言互动！

如果你对 Real2Sim2Real 还有疑问，或希望在下一场「具身智能大咖直播」里听到更多内容，欢迎在评论区留言。你想听的，我们就来讲！