李飞飞团队新突破：低成本高泛化机器人训练法，零样本迁移成功率90%！

在机器人训练中，如何高效地利用模拟环境一直是研究者们关注的重点问题。
近日，美国斯坦福大学李飞飞教授团队提出了一种突破性的“数字表亲”（digital cousins）概念。这一创新方法既保留了数字孪生的优势，又大大降低了从真实到模拟环境的生成成本，同时提高了学习的泛化能力。
“数字表亲”不仅能有效地将真实世界的数据扩展到模拟环境中进行学习，还有望为机器人训练带来显著进展，为解决长期存在的模拟到现实迁移问题提供了新的思路。
项目主页：https://digital-cousins.github.io/论文地址：https://arxiv.org/abs/2410.07408
▍什么是“数字表亲”？与“数字孪生”有何不同?
什么是“数字表亲”？它与我们熟知的“数字孪生”有何不同？
“数字孪生”作为真实场景的精确虚拟复制品，虽然能够准确地对场景进行建模，但其生成成本极为昂贵，且无法提供良好的跨域泛化能力。而“数字表亲”则是一种介于数字孪生与完全随机化之间的创新概念。它不直接模拟现实世界的特定对应物，但仍然能够捕捉相似的几何形状和语义功能。

通过这种方式，“数字表亲”大大降低了生成类似虚拟环境的成本。同时，由于提供了一系列相似但不完全相同的训练场景，它还能提高从模拟到真实环境的迁移鲁棒性。
“数字表亲”方法的一大亮点在于，它能够同时实现以下三个目标：
1、将单幅图像转换为完全交互式的虚拟场景2、全自动处理过程，无需人工注释3、训练出的机器人策略可以直接在原始场景中进行零样本部署