使用 NVIDIA Isaac Sim 4.0 和 NVIDIA Isaac Lab 通过 AI 和模拟增强机器人工作流程

目录

NVIDIA Isaac Sim 4.0 的新功能

使用 PIP 安装更快地开始

通过基于向导的导入提高了可用性

附加资产库

PhysX 5.4 的新功能可用于模拟和检查关节

新的模拟功能

增强的物理模拟

更多对传感器模拟的支持

利用 Isaac Lab 加速强化学习 

生态系统采用

Isaac Sim 为 ROS 开发人员提供更多支持

开始开发您的机器人解决方案

---

由物理 AI 驱动的 AI 机器人时代已经到来。物理 AI 模型能够理解其环境并自主完成物理世界中的复杂任务。许多复杂任务（例如灵巧的操作和在崎岖地形上的人形移动）都难以编程，因此只能依靠在模拟中使用强化学习 (RL) 训练的生成物理 AI模型。

借助基于NVIDIA Omniverse构建的参考应用程序NVIDIA Isaac Sim，开发人员可以在遵循物理定律的虚拟环境中设计、模拟、测试和训练基于 AI 的机器人和自主机器。  

NVIDIA Isaac Sim 使团队能够生成合成数据、训练机器人策略并运行多种假设场景，以在部署之前验证整个机器人堆栈。 

该文章介绍了最新的 Isaac Sim 4.0 版本，其中包括NVIDIA PhysX 5.4 和Isaac Lab。Isaac Sim 4.0 现已可供下载，它基于NVIDIA Omniverse Kit 106构建，为开发人员带来了更大的便利性和对工作流程的控制。 

NVIDIA Isaac Sim 4.0 的新功能

Isaac Sim 4.0 提供了强大的新功能和增强功能，以增强您的机器人工作流程，其中包括：  

• 使用 PIP 更快地安装
• 通过基于向导的导入和系统兼容性检查器提高可用性
• 新资产、环境、机器人、环境传感器 
• 新的 PhysX 功能，如模拟关节、TGS 解算器、残差可视化等
• 用于强化学习的多 GPU 和多节点功能

继续阅读以了解有关这些新功能的更多信息，以及模拟阶段使用的新的 PhysX 和传感器功能。

使用 PIP 安装更快地开始

现在，您可以使用 Python包管理器（例如 PIP）在本地或远程系统上安装 Isaac Sim 。这使用开发人员熟悉的相同开发环境大大加速并简化了安装过程。在基于云的 IDE（例如 Jupyter）中轻松部署 Isaac Sim。

此外，您现在可以使用兼容性检查器应用程序查看系统要求和兼容性。这可以在开始安装过程之前提供即时反馈。 

通过基于向导的导入提高了可用性

每次模拟都从构建虚拟环境以及占据其中空间的机器人开始。为了加快此过程，Isaac Sim 现在包含一个向导，其中包含在指定环境中导入和调整机器人的指导过程。该向导有大量其他选项文档，最常见的工具包括 CAD 导入器、传感器、索具机器人等。 

图 1. Isaac Sim 中的导入向导提供了导入机器人的相关工具、每个工具的离线说明以及推荐步骤的顺序流程

附加资产库

使用以下新资产进行模拟：

• 预建仓库模型 
• 机器人模型
  • Universal Robots 的 UR20 和 UR30 机械臂
  • 波士顿动力公司推出的
• 人形生物
  • 1X Neo 
  • 宇树 H1 
  • 敏捷数字
  • 傅立叶 GR1
  • 庇护所人工智能凤凰
  • 小鹏PX5
• 传感器
  • 驱逐
  • 生病的 
  • 威力登

PhysX 5.4 的新功能可用于模拟和检查关节

一旦场景构建完成并且在环境中设置好机器人，您就可以在机器人模型上 使用NVIDIA PhysX 5.4的一些新功能。

例如，模拟关节功能可让您对机器人中的耦合关节位置进行建模。您现在可以对平行夹持器机构和四连杆机构或平行夹持器或机械手的机械耦合元件进行建模。模拟关节可以捕获 URDF 规范关系：

关节位置 = 乘数 * 参考关节位置 + 偏移量。

关节速度受到类似约束，相互作用是双向的。模拟关节为满足约束而施加的力会根据乘数（即传动装置）反馈给参考关节。

图 2. 在 Isaac Sim 中模拟的用于机器人操作的平行夹持器。模拟关节功能可用于对平行机构进行建模

物理检查器功能现在可以通过将机械臂定位到给定模拟场景的特定姿势来创作单个关节和最大关节。团队还可以在实际模拟之前目视检查碰撞和自由度。

图 3. Physics Inspector 用户界面显示 ANYmal 四足步行机器人的腿部定位调整

新的模拟功能

模拟阶段的一些新功能旨在帮助增强物理和传感器模拟。

增强的物理模拟

物理学是机器人整体运动和性能不可或缺的一部分。Isaac Sim 4.0 中的新增强功能提供了更好的模拟、可视化和调试工具。 

TGS 解算器的最新更新提供了一种新模式，有助于提高解算器的收敛性和碰撞保真度。借助新引入的解算器选项，TGS 可以考虑重力和其他外力，并在每次 TGS 位置迭代（子步）中表达联合作用，而不是在时间步开始时表达一次。在物理场景高级选项中启用该模式，或使用 USD PhysxSceneAPI EnableExternalForcesEveryIteration属性。

对于高性能模拟，在求解器迭代次数和模拟保真度之间找到适当的平衡点非常重要。新的残差报告功能通过在时间步长结束时显示与求解器收敛质量相对应的数据来帮助完成此模拟调整任务。可以在物理场景中以汇总方式查询数据，也可以按关节和最大坐标关节查询数据。

图 4. 移动机器人越过障碍物，模拟数据可视化工具显示从模拟中获得的残差数据

您不仅可以看到解算器残差，还可以使用新的模拟数据可视化窗口监控位置和方向等模拟数据。支持的属性包括身体位置和方向、解算器残差等。有关更多信息，请参阅可视化工具文档。

您现在还可以使用统一 API 查询刚体和关节连杆的线性和角加速度。例如，报告的值可用于计算惯性测量单元的模拟输出。

其他功能包括 SDF 碰撞改进、接触摩擦力报告等。  

更多对传感器模拟的支持

传感器是机器人感知堆栈的支柱。Isaac Sim 拥有一个不断增长的真实传感器模型库，可以模拟地面真实感知和基于物理的传感器。 

最新版本包括对非视觉材料的 RTX 支持，其中材料的光学特性现在扩展到非视觉光谱（例如红外线、无线电波和紫外线），从而实现新的更先进的传感器建模。此外，您还可以利用基于 RTX 的雷达，使用新的 RTX 非视觉材料功能集来准确模拟雷达对不同材料类型和环境的响应。

此外，IMU 传感器后端现在与 Tensor API 兼容。这有助于将 IMU 传感器的物理后端与其他 Isaac Sim 传感器和节点统一起来，从而能够更一致地访问最新的物理数据。

基于 OmniGraph 的传感器管道的性能改进包括通过仅在需要时运行管道而不是每帧运行管道来减少管道开销。

利用 Isaac Lab 加速强化学习 

Isaac Lab 建立在 Isaac Sim 之上，是一个统一、模块化、开源的机器人学习框架，旨在简化强化、模仿和演示学习以及运动规划等常见工作流程。它整合了 Orbit 的功能，Orbit 是一个开源框架，由 NVIDIA、AI 研究所、苏黎世联邦理工学院和多伦多大学联合开发。

Isaac Lab 帮助团队扩展规模，利用 PyTorch 分布式框架在 Linux 上进行多 GPU 和多节点训练。这些作业可以通过OSMO轻松跨异构环境扩展，OSMO 是一个云原生编排平台，用于调度复杂的多阶段和多容器异构计算工作流。

当在多个 GPU 上运行时，使用多个 GPU 可实现更高的 rollout FPS（如图 5 所示）。更高的 FPS 意味着可以在相同的时间内生成更多的轨迹和体验，从而为模型提供更丰富的数据集以供学习。与在单个 GPU 上进行训练相比，该模型可以更快地收敛并实现更高的性能水平。

图 5. 使用多个 GPU 进行强化学习的每秒生成帧数性能比较

在强化学习中，机器人必须执行大量彼此独立的场景。当这些机器人在多个摄像头上执行任务时，可视化它们的进度可能非常繁琐 - 但平铺渲染有助于在单一视图中可视化所有这些场景。平铺渲染的工作原理是连接来自多个摄像头的摄像头输出并渲染一个大图像，而不是每个摄像头生成的多个小图像。 

图 6. 平铺渲染将多个摄像头的输出组合成一张大图像

此外，对于具有许多环境的大型 RL 场景，与之前的版本相比，PhysX 5.4 中的新优化可将环境克隆速度提高 3 倍。

生态系统采用

1X、Agility Robotics、The AI Institute、Boston Dynamics、Fourier、Galbot、LimX Dynamics、RobotEra、Sanctuary AI 和 UBTECH 等领先的机器人开发商正在整合 Isaac Lab 来开发他们的下一代机器人和人形机器人。其中许多公司已经利用 Isaac Sim 在现实环境中测试他们的机器人并生成用于模型训练的合成数据。

详细了解波士顿动力公司与 NVIDIA 和人工智能研究所合作开发 Spot强化学习研究套件。该套件结合了先进的模拟、NVIDIA Jetson AI 技术和精确的机器人控制，可高效地将四足动物从虚拟环境过渡到现实世界的应用。

Isaac Lab 在 BSD-3 许可下开源，可通过GitHub 上的isaac-sim/IsaacLab获取。 

Isaac Sim 为 ROS 开发人员提供更多支持

最新版本的 Isaac Sim 为 ROS 开发人员提供了丰富的新功能，使在 Isaac Sim 中测试和模拟机器人变得前所未有的简单。首先是增强了可用性，支持从 ROS2 节点导入 URDF，可以在 URDF 文件或包含机器人描述的 ROS2 节点之间切换。对于 Cyclone DDS 用户， Isaac Sim在 Linux 上支持Isaac ROS 或 Nav2 相关工作流程。 

其他新功能包括：

• 通过 ROS2 启动支持简化和改进端到端工作流程
• ROS2 服务质量，用于使用 QoS 设置配置任何 ROS 订阅者或发布者
• 支持 ROS2发布者/订阅者和服务器/客户端的任何可用消息类型。这可用于与系统中安装的任何可用消息以及自定义消息进行交互。

开始开发您的机器人解决方案

要接收以下附加资源和参考架构的更新以支持您的开发目标，请注册NVIDIA 开发者计划。 

• NVIDIA Isaac ROS基于开源ROS 2 软件框架构建，是一组加速计算包和 AI 模型，为世界各地的 ROS 开发者带来 NVIDIA 加速。
• NVIDIA Isaac Sim是基于NVIDIA Omniverse构建的参考应用程序，可让开发人员在基于物理的虚拟环境中设计、模拟、测试和训练基于 AI 的机器人和自主机器。它包括NVIDIA Isaac Lab，这是一款用于机器人学习的轻量级应用程序。
• NVIDIA Isaac Perceptor，自主移动机器人 (AMR) 和自动导引车 (AGV) 的参考工作流程。
• NVIDIA Isaac Manipulator为工业机械臂提供了新的基础模型和参考工作流程。
• NVIDIA Jetson是自主机器和嵌入式应用程序的领先平台。

关注LinkedIn、Instagram、X和Facebook 的最新动态。浏览NVIDIA 文档和YouTube频道，并加入NVIDIA 开发者机器人论坛。通过Isaac ROS和Isaac Sim的自定进度培训和网络研讨会了解更多信息。