【论文阅读|具身智能】RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator

已于 2024-11-29 19:26:07 修改
阅读量1.4k 收藏 22
点赞数 32
分类专栏： 论文阅读 文章标签： 论文阅读 人工智能 计算机视觉 3d
于 2024-11-28 16:35:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chien__/article/details/144043053
版权

文章链接：https://arxiv.org/abs/2411.11839

文章目录

Abstract

现实世界的真实数据获取变得日益重要。然而，通过远程操作捕获的大规模示范数据通常成本极高，难以高效地扩展数据规模。在模拟环境下采样任务数据是一种实现大规模数据收集的有前景方法，但现有的模拟器在纹理和物理的高保真建模方面存在不足。【也就是说，对现实进行数据采样成本太高了，可以做的是在模拟环境下进行数据的采样，但是现在模拟器太烂了，所以提出了新的模拟器】为了解决这些限制，我们提出了 RoboGSim，一种基于真实到模拟再到真实（real2sim2real）转换的机器人模拟器，集成了3D高斯点云（Gaussian Splatting）技术和物理引擎。

RoboGSim 主要由四个部分组成：高斯重建器（Gaussian Reconstructor）、数字孪生构建器（Digital Twins Builder）、场景编辑器（Scene Composer） 和 交互引擎（Interactive Engine）。它能够通过生成新的视角、对象、轨迹和场景来合成模拟数据。此外，RoboGSim 提供了一种在线、可重复和安全的评估机制，用于验证不同操作策略的表现。真实到模拟（real2sim）和模拟到真实（sim2real）的转换实验表明，在纹理和物理效果上具有高度一致性。此外，基于真实操作任务验证了合成数据的有效性。

我们希望 RoboGSim 能成为用于策略学习公平比较的闭环模拟器。【闭环仿真：模拟环境中的机器人或代理不仅执行动作，而且根据这些动作产生的反馈进行自我调整或优化】更多信息可访问我们的项目页面 https://robogsim.github.io/。

图1.

图1.RoboGSim是一个高效、低成本的互动平台，具有高保真渲染功能。它通过新场景、新物体和新视角实现演示合成，促进了策略学习的数据规模扩展。此外，它还可以执行闭环仿真，提供安全、公平和真实的评估，适用于不同的策略模型。

1. Introduction

收集大规模操作数据对高效策略学习至关重要。一些方法提出通过远程操作捕获示范数据及其对应的动作【11, 36, 38】。虽然这类方法相对提高了数据收集效率，但随着数据规模的增加，成本也随之显著增加。为了解决这一问题，一些研究【14, 33】尝试在模拟环境中生成合成数据，并利用这些数据学习操作策略。然而，这些模拟到真实（Sim2Real）的方法由于模拟环境与现实环境之间的域差距较大，往往导致学习的策略难以有效应用。

近年来，一些研究引入了真实到模拟再到真实（Real2Sim2Real, R2S2R）范式用于机器人学习【3, 20】。其核心思想是通过辐射场方法（如 NeRF【24】和 3D Gaussian Splatting, 3DGS【15】）实现真实感的重建，并将学习到的表示插入模拟器中。其中，典型方法 Robo-GS【20】提出了一个 Real2Sim 管线，并引入混合表示以生成支持高保真模拟的数字资产。然而，它缺乏在新场景、新视角和新物体上的示范数据合成，也未能验证这些数据在策略学习中的有效性。此外，由于潜在表示、模拟和现实空间之间的对齐问题，该方法无法实现不同策略的闭环评估。

在本文中，我们开发了一个名为 RoboGSim 的 Real2Sim2Real 模拟器，既支持高保真的示范数据合成，也支持物理一致的闭环评估。RoboGSim 包括四个主要模块：高斯重建器（Gaussian Reconstructor）、数字孪生构建器（Digital Twins Builder）、场景编辑器（Scene Composer） 和 交互引擎（Interactive Engine）。具体而言，给定多视角 RGB 图像序列和机械臂的 MDH【6】参数，高斯重建器基于 3DGS【42】重建场景和物体；接着，数字孪生构建器进行网格重建，并在 Isaac Sim 中创建数字孪生。在数字孪生构建器中，我们引入了布局对齐模块，用于对齐模拟空间、真实空间和 3DGS 表示之间的空间布局。之后，场景编辑器将场景、机械臂和物体结合在模拟环境中，并从新视角渲染图像。最后，在交互引擎中，RoboGSim 作为合成器（Synthesizer）和评估器（Evaluator），完成示范数据合成与闭环策略评估。

与现有的Real2Sim2Real 框架相比，RoboGSim 带来了多项优势。它是首个将示范数据合成与闭环评估统一起来的神经模拟器。RoboGSim 可以生成包含新场景、新视角和新物体的真实感操作示范数据，用于策略学习；同时，它也可以作为评估器，在真实感环境下以物理一致的方式执行模型评估。【该结构的作用：生成数据、模型评估】

总结来说，我们的核心贡献如下：

  • 基于 3DGS 的真实感模拟器：我们开发了一个基于 3DGS 的模拟器，通过多视角 RGB 视频重建具有真实纹理的场景和物体。RoboGSim 针对弱纹理、低光照和反射表面等挑战性条件进行了优化。
  • 数字孪生系统：我们在系统中引入布局对齐模块。通过布局对齐的 Isaac Sim，RoboGSim 实现了真实空间与模拟空间中物体与机械臂间物理交互的映射。
  • 合成器与评估器：RoboGSim 能够合成用于策略学习的真实感操作示范数据（包括新场景、新视角和新物体），并作为评估器以物理一致的方式执行模型评估。

2. Related Work

2.1. Sim2Real in Robotics

Real2Sim2Real 方法的核心目标是解决模拟到真实（Sim2Real）转换中的域间差距【就是普通的差距】，这一问题一直是从模拟到现实应用的主要障碍【8, 26】。为了尽可能弥合 Sim2Real 差距，近年来出现了许多功能丰富的模拟器【7, 22, 27, 34, 37】，并提出了多种数据集和基准用于高效策略学习【12, 13, 16, 25】。

现有的 Sim2Real 方法大致可分为三类：域随机化（Domain Randomization）、域适配（Domain Adaptation）和干扰学习（Learning with Disturbances）【39】：

  1. 域随机化：通过引入随机性扩展机器人在模拟器中的操作范围，使得模拟环境能够迁移这些能力到现实场景【1, 10, 14, 33】。
  2. 域适配：旨在统一模拟环境与真实环境的特征空间，从而在统一特征空间内完成训练和迁移【2, 18, 40】。
  3. 干扰学习：在模拟环境中引入干扰，训练机器人策略，使其能够在充满噪声和不可预测性的现实环境中高效运行【5, 35】。
    【总结：sim2real方法：加干扰、加随机、适配】

2.2. 3D Gaussian Splatting in Robotics

作为 3D 重建领域的重要进展，3D Gaussian Splatting（3DGS）【15】通过显式高斯点表示场景，并结合高效的光栅化实现高保真实时渲染，扩展了 NeRF【24】的能力。近年来，许多研究开始探索 3DGS 在模拟器及现实中的操作任务应用。

例如，ManiGaussian【21】引入了一个动态的高斯框架和高斯世界模型，分别通过隐式表示高斯点及其参数化来建模并预测未来的状态和动作。类似地，Gaussian Grasper【41】以 RGB-D 图像为输入，通过特征蒸馏和几何重建，将语义和几何特征嵌入 3DGS，从而实现语言指导下的抓取操作。

为了有效地将模拟中的知识迁移到现实并减少 Sim2Real 差距，基于 3DGS 的研究【17, 20, 28】近年来不断涌现。其中，与我们工作最相似的是 Robo-GS【20】和 SplatSim【28】：

  • Robo-GS：通过绑定高斯点、网格和像素实现机械臂的高保真重建，主要专注于 Real2Sim 转换，但对 Sim2Real 阶段的讨论较少。
  • SplatSim：重建了场景中的机械臂和物体，同时验证了该方法在 Sim2Real 任务中的可行性。然而，它缺乏对生成物体数字孪生资产的讨论，而数字孪生资产是实现精确操作的关键。

图2. RoboGSim流程概述： (1) 输入：多视角RGB图像序列和机械臂的MDH参数。 (2)高斯重建器：使用3DGS重建场景和物体，分割机械臂并构建MDH运动学驱动图结构，以精确建模机械臂的运动。 (3)数字双胞胎构建器：对场景和物体进行网格重建，然后在Isaac Sim中创建数字双胞胎，确保仿真中的高保真度。 (4)场景编排器：将机械臂和物体结合到仿真中，通过跟踪识别最佳测试视角，并从新的视角渲染图像。 (5) 互动引擎： (i)用于政策学习的合成图像，包含新场景/视角/物体。 (ii) 政策网络可以以闭环方式进行评估。 (iii)可以通过VR/Xbox设备收集具身数据。

3. Methods

3.1. Overall Architecture

如图 2 所示，RoboGSim 主要包括四个模块：高斯重建器（Gaussian Reconstructor）、数字孪生构建器（Digital Twins Builder）、场景合成器（Scene Composer） 和 交互引擎（Interactive Engine）。

  • 高斯重建器（详见第 3.2 节）：通过 3DGS 方法利用多视图图像和机械臂的 MDH 参数重建场景和物体。它对机械臂进行分割，并构建基于 MDH 的运动学驱动图结构，从而实现机械臂的精准运动建模。
  • 数字孪生构建器（详见第 3.3 节）：对场景和物体进行网格重建。通过布局对齐（layout alignment），连接资产数据流，为后续在交互引擎中的评估提供支持。
  • 场景合成器（详见第 3.4 节）：实现新物体、场景和视角的合成。
  • 交互引擎（详见第 3.5 节）：合成用于策略学习的全新视角/场景/物体图像，同时支持闭环方式评估策略网络。此外，还可利用真实世界中的 VR/Xbox 设备在模拟环境中采集操作数据。

3.2. Gaussian Reconstructor

我们采用 3D Gaussian Splatting（3DGS） 方法重建静态场景，并对机械臂关节的点云进行分割。随后，通过 MDH 动态模型控制与各关节对应的点云，从而实现机械臂的动态渲染。

3DGS 方法【15】使用多视图图像作为输入，进行高保真场景重建。该方法通过高斯点集表示场景，并采用可微分的光栅化渲染技术，实现实时渲染能力。

具体来说，对于由 N N N 个高斯点组成的场景 G = { g i } i = 1 N G = \{g_i\}_{i=1}^N G={ gi​}i=1N​，每个高斯点 g i g_i gi​ 可以表示为：

g i = ( μ i , Σ i , o i , c i ) g_i = (\mu_i, \Sigma_i, o_i, c_i) gi​=(μi​,Σi​,oi​,ci​)

其中： μ i ∈ R 3 \mu_i \in \mathbb{R}^3 μi​∈R3 表示高斯点的均值（位置）。 Σ i ∈ R 3 × 3 \Sigma_i \in \mathbb{R}^{3 \times 3} Σi​∈R3×3 表示协方差矩阵（描述高斯点的形状和方向）。 o i ∈ R o_i \in \mathbb{R} oi​∈R 表示不透明度（opacity）。 c i ∈ SH ( 4 ) c_i \in \text{SH}(4) ci​∈SH(4) 表示颜色因子，用球谐系数（spherical harmonic coefficients）表示。

在渲染过程中，像素的最终颜色值 C C C 可以通过一种类似于 A l p h a Alpha Alpha 混合的渲染方法计算得到【15】。该方法利用与像素重叠的 N N N 个有序高斯点的序列，其过程可以表示为：

C = ∑ i ∈ N c i α i ∏ j = 1 i − 1 ( 1 − α j ) (1) C = \sum_{i \in N} c_i \alpha_i \prod_{j=1}^{i-1} (1 - \alpha_j) \tag{1} C=i∈N∑​ci​αi​j=1∏i−1​(1−αj​)(1)

α i = o i ⋅ exp ⁡ ( − 1 2 δ i ⊤ Σ i − 1 δ i ) (2) \alpha_i = o_i \cdot \exp\left(-\frac{1}{2} \delta_i^\top \Sigma_i^{-1} \delta_i \right) \tag{2} αi​=oi​⋅exp(−

最低0.47元/天 解锁文章
3D Gaussian Splatting in Robotics: A Survey(2)
初见月
11-08 387
3DGS作为密集场景表示的强大辐射场，为机器人领域的场景理解和交互提供了新的选择。
RoboGSim：Real2Sim2Real范式的数据合成器和闭环仿真器
CV_Autobot的博客
11-28 893
点击下方卡片，关注“具身智能之心”公众号作者| 具身智能之心 编辑|具身智能之心本文只做学术分享，如有侵权，联系删文>>点击进入→具身智能之心技术交流群随着具身智能的高速发展，真实环境下的高效数据获取变得愈发重要。然而，通过遥操捕获或真机现场采集的数据收集往往成本极高，且难以高效扩展数据规模。在仿真环境中采集任务序列是一种实现大规模数据采集的有前景方案，但现有模拟器在纹理和物理...
RoboGSim：Real2Sim2Real 机器人Gaussian Splatting模拟器
yorkhunter的博客
12-14 1176
24年11月来自哈工大深圳分校、计算所、旷视和浙大的论文“RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator”。
基于GS(Gaussian Splatting)的机器人Sim2Real2Sim仿真平台
weixin_43827285的博客
01-27 1676
RoboGSim是一个基于3DGS和IsaacSim的Real2Sim2Real仿真，结合3DGS的逼真渲染和IsaacSim的物理引擎两者的优点，可高效合成高质量仿真数据，用这些合成数据训练的VLA在真实环境中取得了一定从成功率。
卡内基梅隆大学 | DarkGS: 移动光源3DGS!从泰坦尼克号这一幕说起
3D视觉工坊
06-25 261
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达本次分享我们邀请到了卡内基梅隆大学计算机学院在读博士Tianyi Zhang，为大家详细介绍他们的工作：DarkGS.如果您有相关工作需要分享，欢迎文末联系我们DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploratio...
Embodied AI论文推荐
weixin_42988382的博客
12-20 1323
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + Shift + H 无序列表：Ctrl/Command + Shift + U 有序列表：Ctrl/Command + Shift + O 检查列表：Ctrl/Command
DarkGS：论文解读与全流程环境配置及数据集测试【基于Ubuntu20.04 】【2025最新实战无坑版！！】
举个栗子的博客
05-02 996
DarkGS是一个创新性的研究项目，旨在解决机器人在黑暗或低光照环境中探索的问题
51c自动驾驶~合集39
whaosoft~aiotの开发板商城
12-04 1403
我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676大幅超越所有SOTA！地平线DiffusionDrive：生成式方案或将重塑端到端格局？近年来，由于感知模型的性能持续进步，端到端自动驾驶受到了来自工业界和学术界的广泛关注，端到端自动驾驶算法直接从原始传感器采集到的信息输入中学习驾驶策略。这种基于数据驱动的方法为传统的基于规则的运动规划提供了一种可扩展且强大的替代方案，而传统的基于规则的运动规划通常难以推广到复杂的现实世界驾驶环境。为了有效地从数据中学习驾
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 1178
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 1283
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
hiliang521的博客
05-04 1097
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 1001
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
LLM论文笔记 28: Universal length generalization with Turing Programs
m0_65305142的博客
05-04 544
通过将算法任务分解为逐步的“磁带更新”（类似图灵机的读写操作），允许模型通过简单的文本复制与局部修改完成复杂计算。：每一步仅对磁带的局部内容进行修改（如更新某一位的数字或进位），而非完全重写。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。：模型在未见过的更长输入（50→100+ token）上能预测图灵机的下一步状态，表明其对任意算法任务的泛化潜力。需进一步探索更高效、通用的训练框架，以支持复杂现实任务的长度泛化。
论文阅读：MAXIM Multi-Axis MLP for Image Processing
Matrix-11
05-01 1123
近年来，Transformer 和多层感知机（MLP）模型的发展为计算机视觉任务提供了新的网络架构设计。尽管这些模型在图像识别等许多视觉任务中已被证明是有效的，但在将它们应用于底层视觉任务时仍存在挑战。对高分辨率图像支持的灵活性不足以及局部注意力机制的局限性，可能是主要的瓶颈所在。在这项工作中，我们提出了一种基于多轴 MLP 的架构，称为 MAXIM，它可以作为一种高效且灵活的通用视觉主干架构，用于图像处理任务。MAXIM 采用了 U 型网络的分层结构，并通过空间门控的 MLP 实现了长距离的交互。
【论文阅读】DETR+Deformable DETR
最新发布
博客标题不能为空我也没办法
05-05 537
可变形注意力相关的两篇论文：DETR和Deformable DETR
LLM论文笔记 27: Looped Transformers for Length Generalization
m0_65305142的博客
05-04 545
Transformer在长度泛化（length generalization）上表现有限，尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构（Looped Transformers），通过循环处理增加模型对输入长度的适应能力。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。1. RASP-L限制transformer无法处理包含循环的任务的长度泛化。，做到“n次transformer”
论文笔记-多智能体任务分配：动态智能空间中的拍卖与抢占机制
sagima_sdu的博客
04-29 1324
DySOMA的核心是一种先进的基于拍卖的算法，结合了新颖的任务抢占排序机制，并与动态更新的本体知识图谱无缝集成。》的论文，该文提出了一种名为DySOMA（Dynamic System Optimisation for Multiagent）的框架，旨在通过拍卖算法和任务抢占机制，结合本体知识图谱，提升动态智能空间中多机器人系统的任务调度效率。》是一篇极具启发性的论文。例如，在智能家居场景中，知识图谱可以帮助机器人识别房间的位置、物品的状态以及用户的偏好，从而在任务分配过程中做出更合理的决策。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 795
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
Fine Structure-Aware Sampling（AAAI 2024）论文笔记和启发
weixin_52668444的博客
05-04 542
这减小了一些模糊的情况，但是不够鲁棒。这里的BIAS主要是来自于标签的值，通常情况下，我们会认为大于0.5的值是在surface里面，小于0.5的值是在surface里面，等于0.5的值是surface上面，但是整体统计看来，最大的值也才0.6 所以模型会偏向于将点的值归类为在平面外面。FSS在DOS的基础上提出的新的改进，提出的是双样本点的方法，也就是说，在平面内和平面外分别确定两个点，这两个点之间的连线的中间点就必落在 surface在很大的程度上解决了模糊定位的情况，surface的位置就很清晰了。
sim2real挑战赛学习资料
05-11
以下是一些Sim2Real挑战赛的学习资料： 1. Sim-to-Real Reinforcement Learning for Robotics: A Reality Gap is a challenge in robotics where models trained in simulation often fail to perform well in the real world. This paper examines the problem and proposes a sim-to-real approach to reinforcement learning for robotics. 2. Sim2Real Viewpoint Invariant Visual Servoing by Recurrent Control: This paper proposes a view-invariant visual servoing technique that can generalize well from simulated to real-world environments. 3. Sim-to-Real Transfer of Robotic Control with Dynamics Randomization: This paper introduces a method of training robots in simulation using randomized dynamics and then transferring the learned control policies to the real world. 4. Sim-to-Real Transfer for Deep Reinforcement Learning with Safe Exploration: This paper proposes a method for safe exploration in Sim2Real transfer for deep reinforcement learning. 5. Sim2Real View-Invariant Visual Servoing by Combining Simulation and Deep Learning: This paper proposes a view-invariant visual servoing technique that combines simulation and deep learning to achieve robustness to viewpoint changes. 6. Sim2Real Transfer for Robotic Manipulation: A Survey: This paper provides a comprehensive survey of the existing literature on Sim2Real transfer for robotic manipulation. 7. OpenAI Robotics: Sim2Real Transfer: This blog post by OpenAI provides an overview of Sim2Real transfer for robotics and highlights some of the challenges and opportunities in the field. 8. NVIDIA Research: Sim-to-Real Transfer Learning for Robotics: This video by NVIDIA Research provides an overview of Sim2Real transfer learning for robotics and showcases some of the recent advancements in the field. 9. Sim-to-Real Transfer of Robotic Control with Deep Reinforcement Learning: This paper proposes a method for Sim2Real transfer of robotic control using deep reinforcement learning and demonstrates its effectiveness on a real-world robotic arm. 10. Sim-to-Real Transfer of Control Policies for Robotics using Adversarial Domain Adaptation: This paper proposes a method for Sim2Real transfer of control policies for robotics using adversarial domain adaptation and demonstrates its effectiveness on a real-world robotic arm.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值