探索 NVIDIA Isaac Sim：解锁机器人开发的无限可能

目录

一、Isaac Sim简单介绍

        NVIDIA Isaac Sim是一款参考应用，允许开发者在基于物理的虚拟环境中设计、模拟、测试和训练基于AI的机器人和自主机器。

        基于NVIDIA Omniverse 构建的lsaac Sim 完全可拓展，支持开发者构建自己的自定义模拟器或将和兴lsaac Sim 技术集成到现有测试和验证管线中。

二、版本及相关配置

所使用的版本是isaac Sim 4.20版本 

本人电脑配置也不行，所以临时租了台服务器，勉强能带的动这个仿真平台，具体配置如下：

        1.CPU：Intel(R) Xeon Platinum 8369B 16核

        2.内存：32GB

        3.显卡：Nvidia RTX4070（3080以上就可以用了）

        4.显存：12GB（最低要求是8GB）

        5.操作系统：windwos 10 

三、安装配置

一、安装Omniverse

        1.进入Nvidia Isaac Sim官网，下载Omniversehttps://developer.nvidia.com/isaac/sim

        2.找到并点击Workstation Stetup

        3.在主页找到Workstation Setup下的Direct Link：windwos/linux  选择自己对应的版本（这里我用的是windows版）

         4.点击打开文件，并点击运行

        5.等待安装完成

        6.登入或者注册自己的Nvidia账号

二、安装Isaac Sim

        1.进入软件后，点击交易所，搜索Issac Sim ，往下滑找到ISAAC SIM应用，点击

        2.选择要安装的版本，点击安装

        3.点击首页的图书馆，左侧应用栏中找到lsaac sim并点击，点击启动

        4.进入页面后是这样

        5.可以简单的创建一个球体模型

四、运行过程记录

一、GPU加速仿真

        1.设置阶段属性       

                ①跳转到应用上方菜单 找到Edit > Preferences 以打开面板。

                ②在面板左侧中浏览 Omniverse Kit中按类别分组的多种设置类型

                ③左侧选择Stage并查看属性

        2.创建物理场景       

                ①跳转到上方菜单单击Create > Physics > PhysicsScene

                ②验证是否将PhysicsScene添加到右侧展示栏中

                ③单击这个物理场景查看属性

                ④禁用GPU 将GPU改为MBP​编辑

        3.添加地平面

                地平面可以有效防止任何物理特征的对象低于其地平面

                ①跳转到上方菜单，单击Create > Physics >Ground Plane

        4.将对象添加到场景

                ①单击顶部菜单中的Create > Shapes > Cube创建立方体

                ②单击模型，拖动蓝色箭头，将立方体抬高到地平面以上

                ③点击“R”键，单击并拖动红色部分，缩放立方体

                ④我么们需要定位特定位置的立方体模型，在右侧导航中找到Transform > translate 在属性床中，将长方体的属性固定为Transl（0，0，1），将缩放固定为Scale（1，2，0.5）。

                ⑤单击顶部菜单中的Create > Shapes > Cylinder创建一个圆柱体

                ⑥X=1.5 Z=1.0 第二行Y轴为90度

        5.添加物理特性

        到目前为止，我们添加的立方体和圆柱体是严格的视觉图元，没有附加任何物理或碰撞属性。 当您通过按下并应用重力开始模拟时，这些对象不会移动，因为它们不受物理影响。 让我们将它们转换为具有碰撞属性的刚体，就像机器人应该有的那样

                ①按住Ctrl+Shift选择模型        

                ②在 Property （属性） 选项卡中，单击按钮，然后选择 Physics > Rigid Body with Colliders Preset 

                ③按下左侧并验证所有三个对象是否都落到地平面上

        6.检查碰撞网格

                ①在视区顶部找到眼睛图标。

                ②单击 Show By Type > Physics > Colliders > All。

                ③验证应用了碰撞 API 的任何对象周围是否显示紫色轮廓。

       7.添加接触和纹理参数

                ①转到上方菜单，然后单击 Create > Physics > Physics Material

                ②在弹出框中选择 Rigid Body Material右侧将出现一个新内容PhysicsMaterial

                ③在其属性选项卡中调整纹理系数

        8.要将指定的物理材质应用于对象：

                ①在右侧中选择对象。

                ②在 Property 选项卡中找到 Materials on Selected Model 菜单项。

                ③在下拉菜单中选择所需的材质。

        9.最终测试结果

       二、NVIDIA isaac Sim体验

                        ① 高度逼真的物理模拟：Isaac Sim提供了高度逼真的物理引擎，可以模拟复杂的环境和机器人行为，这对于测试和验证机器人算法至关重要。

                        ② 实时渲染：利用nVidia的图形处理能力，Isaac Sim能够提供实时渲染功能，使得虚拟环境中的视觉效果更加真实。

                        ③ 多机器人模拟：Isaac Sim支持多机器人系统的模拟，这对于研究协作任务和群体行为非常有用。

                        ④ 强化学习集成：平台内置了强化学习功能，使得研究人员可以轻松地训练机器人执行各种任务。

                        ⑤在测试小球坠落中，16个小球掉落，物理仿真非常流畅

 五、相关分析

        1.isaac Sim存在的优势

                1. 高度逼真的物理模拟：Isaac Sim提供了高度逼真的物理引擎，可以模拟复杂的环境和机器人行为，这对于测试和验证机器人算法至关重要。

                2. 实时渲染：利用nVidia的图形处理能力，Isaac Sim能够提供实时渲染功能，使得虚拟环境中的视觉效果更加真实。

                3. 多机器人模拟：Isaac Sim支持多机器人系统的模拟，这对于研究协作任务和群体行为非常有用。

               4. 强化学习集成：平台内置了强化学习功能，使得研究人员可以轻松地训练机器人执行各种任务。

                5. 开放性和可扩展性：Isaac Sim提供了开放的API和插件系统，允许用户自定义模拟环境和机器人模型。

                6. 与Omniverse集成：作为Omniverse的一部分，Isaac Sim可以与nVidia的其他工具和应用程序无缝集成，如用于自动驾驶的DRIVE Sim。

                7. 云和本地部署：Isaac Sim可以在云端或本地服务器上运行，为用户提供了灵活的部署选项。

                8. 教育资源：nVidia为Isaac Sim提供了丰富的教育资源和社区支持，帮助研究人员和学生学习和使用该平台。

        2.潜在的应用场景

                1. 自动驾驶汽车：Isaac Sim可以用来模拟自动驾驶汽车的驾驶环境，进行算法训练和验证，确保在实际道路上的安全性和可靠性。

                2. 工业自动化：在制造业中，Isaac Sim可以用于模拟工厂环境，训练机器人执行装配、搬运等任务，提高生产效率和质量。

                3. 物流和仓储：通过模拟仓库环境，Isaac Sim可以帮助设计和优化自动化物流系统，如自动拣选和货物搬运。

                4. 医疗机器人：在医疗领域，Isaac Sim可以用于模拟手术过程，训练机器人辅助手术，提高手术精度和成功率。

                5. 农业机器人：Isaac Sim可以模拟农田环境，帮助开发自动化农业机器人，用于播种、收割和作物监测等任务。

                6. 建筑和基础设施：在建筑行业，Isaac Sim可以用于模拟建筑工地，训练机器人执行建筑施工任务，如混凝土浇筑和墙体砌筑。

                7. 教育和研究：Isaac Sim可以作为教学工具，帮助学生和研究人员学习和研究机器人技术、人工智能和机器学习等领域。

                8. 娱乐和游戏：在娱乐行业，Isaac Sim可以用于开发虚拟现实（VR）和增强现实（AR）游戏，创造逼真的机器人角色和环境。

                9. 灾害响应和救援：Isaac Sim可以模拟灾难场景，训练机器人执行搜救任务，提高应急响应能力。

                10. 太空探索：Isaac Sim可以用于模拟太空环境，帮助设计和测试用于太空探索的机器人和自动化系统。

        3.GPU加速计算能力对工业仿真有什么意义

                1. 提高计算效率：GPU拥有数千个处理核心，能够同时运行数千个线程，非常适合执行可以并行化的仿真任务。这使得复杂的工业仿真能够在更短的时间内完成。

                2. 处理大规模数据：工业仿真往往涉及大量的数据和复杂的模型。GPU提供了更高的内存带宽和更大的内存容量，能够有效处理这些大规模数据集。

                3. 实时渲染和可视化：在工业设计和开发过程中，实时渲染和可视化是非常重要的。GPU加速可以实现更快速、更流畅的渲染效果，帮助工程师更好地理解和评估设计方案。

                4. 支持高级仿真技术：GPU加速还支持如有限元分析（FEA）、计算流体动力学（CFD）等高级仿真技术，这些技术在工业设计中扮演着关键角色。

                5. 降低成本：通过使用GPU加速，企业可以在不增加硬件成本的情况下提高仿真性能，从而降低总体拥有成本。

                6. 促进创新：GPU加速使得以前难以实现的复杂仿真成为可能，这有助于工程师探索新的设计理念和技术，推动工业创新。

        4.运行体验和意见

                在整体使用该软件，无论是从性能、处理逻辑、视觉体验来说都很不错，在此希望官方能够优化该软件对显卡的兼容性，在测试NVIDIA A10和T40显卡中，出现报错无法使用，希望能够整改

---

一、Isaac Sim简单介绍

        NVIDIA Isaac Sim是一款参考应用，允许开发者在基于物理的虚拟环境中设计、模拟、测试和训练基于AI的机器人和自主机器。

        基于NVIDIA Omniverse 构建的lsaac Sim 完全可拓展，支持开发者构建自己的自定义模拟器或将和兴lsaac Sim 技术集成到现有测试和验证管线中。

二、版本及相关配置

所使用的版本是isaac Sim 4.20版本 

本人电脑配置也不行，所以临时租了台服务器，勉强能带的动这个仿真平台，具体配置如下：

        1.CPU：Intel(R) Xeon Platinum 8369B 16核

        2.内存：32GB

        3.显卡：Nvidia RTX4070（3080以上就可以用了）

        4.显存：12GB（最低要求是8GB）

        5.操作系统：windwos 10 

三、安装配置

一、安装Omniverse

        1.进入Nvidia Isaac Sim官网，下载Omniversehttps://developer.nvidia.com/isaac/sim

        2.找到并点击Workstation Stetup

        3.在主页找到Workstation Setup下的Direct Link：windwos/linux  选择自己对应的版本（这里我用的是windows版）

         4.点击打开文件，并点击运行

        5.等待安装完成

        6.登入或者注册自己的Nvidia账号

二、安装Isaac Sim

        1.进入软件后，点击交易所，搜索Issac Sim ，往下滑找到ISAAC SIM应用，点击

        2.选择要安装的版本，点击安装

        3.点击首页的图书馆，左侧应用栏中找到lsaac sim并点击，点击启动

        4.进入页面后是这样

        5.可以简单的创建一个球体模型

四、运行过程记录

通过NVIDIA IsaacSim 软件，可以使用NVIDIA RTX GPU加速机器人仿真开发。

一、GPU加速仿真

        通过创建一些简单的任务，测试物理模型的运行流畅度

        1.设置阶段属性       

                ①跳转到应用上方菜单 找到Edit > Preferences 以打开面板。

                ②在面板左侧中浏览 Omniverse Kit中按类别分组的多种设置类型

                ③左侧选择Stage并查看属性

        2.创建物理场景       

                ①跳转到上方菜单单击Create > Physics > PhysicsScene

                ②验证是否将PhysicsScene添加到右侧展示栏中

                ③单击这个物理场景查看属性

                ④禁用GPU 将GPU改为MBP

        3.添加地平面

                地平面可以有效防止任何物理特征的对象低于其地平面

                ①跳转到上方菜单，单击Create > Physics >Ground Plane

        4.将对象添加到场景

                ①单击顶部菜单中的Create > Shapes > Cube创建立方体

                ②单击模型，拖动蓝色箭头，将立方体抬高到地平面以上

                ③点击“R”键，单击并拖动红色部分，缩放立方体

                ④我么们需要定位特定位置的立方体模型，在右侧导航中找到Transform > translate 在属性床中，将长方体的属性固定为Transl（0，0，1），将缩放固定为Scale（1，2，0.5）。

                ⑤单击顶部菜单中的Create > Shapes > Cylinder创建一个圆柱体

                ⑥X=1.5 Z=1.0 第二行Y轴为90度

        5.添加物理特性

        到目前为止，我们添加的立方体和圆柱体是严格的视觉图元，没有附加任何物理或碰撞属性。 当您通过按下并应用重力开始模拟时，这些对象不会移动，因为它们不受物理影响。 让我们将它们转换为具有碰撞属性的刚体，就像机器人应该有的那样

                ①按住Ctrl+Shift选择模型        

                ②在 Property （属性） 选项卡中，单击按钮，然后选择 Physics > Rigid Body with Colliders Preset 

                ③按下左侧并验证所有三个对象是否都落到地平面上

        6.检查碰撞网格

                ①在视区顶部找到眼睛图标。

                ②单击 Show By Type > Physics > Colliders > All。

                ③验证应用了碰撞 API 的任何对象周围是否显示紫色轮廓。

       7.添加接触和纹理参数

                ①转到上方菜单，然后单击 Create > Physics > Physics Material

                ②在弹出框中选择 Rigid Body Material右侧将出现一个新内容PhysicsMaterial

                ③在其属性选项卡中调整纹理系数

        8.要将指定的物理材质应用于对象：

                ①在右侧中选择对象。

                ②在 Property 选项卡中找到 Materials on Selected Model 菜单项。

                ③在下拉菜单中选择所需的材质。

        9.最终测试结果

       二、NVIDIA isaac Sim体验

                        ① 高度逼真的物理模拟：Isaac Sim提供了高度逼真的物理引擎，可以模拟复杂的环境和机器人行为，这对于测试和验证机器人算法至关重要。

                        ② 实时渲染：利用nVidia的图形处理能力，Isaac Sim能够提供实时渲染功能，使得虚拟环境中的视觉效果更加真实。

                        ③ 多机器人模拟：Isaac Sim支持多机器人系统的模拟，这对于研究协作任务和群体行为非常有用。

                        ④ 强化学习集成：平台内置了强化学习功能，使得研究人员可以轻松地训练机器人执行各种任务。

                        ⑤在测试小球坠落中，16个小球掉落，物理仿真非常流畅

 五、相关分析

        1.isaac Sim存在的优势

                1. 高度逼真的物理模拟：Isaac Sim提供了高度逼真的物理引擎，可以模拟复杂的环境和机器人行为，这对于测试和验证机器人算法至关重要。

                2. 实时渲染：利用nVidia的图形处理能力，Isaac Sim能够提供实时渲染功能，使得虚拟环境中的视觉效果更加真实。

                3. 多机器人模拟：Isaac Sim支持多机器人系统的模拟，这对于研究协作任务和群体行为非常有用。

               4. 强化学习集成：平台内置了强化学习功能，使得研究人员可以轻松地训练机器人执行各种任务。

                5. 开放性和可扩展性：Isaac Sim提供了开放的API和插件系统，允许用户自定义模拟环境和机器人模型。

                6. 与Omniverse集成：作为Omniverse的一部分，Isaac Sim可以与nVidia的其他工具和应用程序无缝集成，如用于自动驾驶的DRIVE Sim。

                7. 云和本地部署：Isaac Sim可以在云端或本地服务器上运行，为用户提供了灵活的部署选项。

                8. 教育资源：nVidia为Isaac Sim提供了丰富的教育资源和社区支持，帮助研究人员和学生学习和使用该平台。

        2.潜在的应用场景

                1. 自动驾驶汽车：Isaac Sim可以用来模拟自动驾驶汽车的驾驶环境，进行算法训练和验证，确保在实际道路上的安全性和可靠性。

                2. 工业自动化：在制造业中，Isaac Sim可以用于模拟工厂环境，训练机器人执行装配、搬运等任务，提高生产效率和质量。

                3. 物流和仓储：通过模拟仓库环境，Isaac Sim可以帮助设计和优化自动化物流系统，如自动拣选和货物搬运。

                4. 医疗机器人：在医疗领域，Isaac Sim可以用于模拟手术过程，训练机器人辅助手术，提高手术精度和成功率。

                5. 农业机器人：Isaac Sim可以模拟农田环境，帮助开发自动化农业机器人，用于播种、收割和作物监测等任务。

                6. 建筑和基础设施：在建筑行业，Isaac Sim可以用于模拟建筑工地，训练机器人执行建筑施工任务，如混凝土浇筑和墙体砌筑。

                7. 教育和研究：Isaac Sim可以作为教学工具，帮助学生和研究人员学习和研究机器人技术、人工智能和机器学习等领域。

                8. 娱乐和游戏：在娱乐行业，Isaac Sim可以用于开发虚拟现实（VR）和增强现实（AR）游戏，创造逼真的机器人角色和环境。

                9. 灾害响应和救援：Isaac Sim可以模拟灾难场景，训练机器人执行搜救任务，提高应急响应能力。

                10. 太空探索：Isaac Sim可以用于模拟太空环境，帮助设计和测试用于太空探索的机器人和自动化系统。

        3.GPU加速计算能力对工业仿真有什么意义

                1. 提高计算效率：GPU拥有数千个处理核心，能够同时运行数千个线程，非常适合执行可以并行化的仿真任务。这使得复杂的工业仿真能够在更短的时间内完成。

                2. 处理大规模数据：工业仿真往往涉及大量的数据和复杂的模型。GPU提供了更高的内存带宽和更大的内存容量，能够有效处理这些大规模数据集。

                3. 实时渲染和可视化：在工业设计和开发过程中，实时渲染和可视化是非常重要的。GPU加速可以实现更快速、更流畅的渲染效果，帮助工程师更好地理解和评估设计方案。

                4. 支持高级仿真技术：GPU加速还支持如有限元分析（FEA）、计算流体动力学（CFD）等高级仿真技术，这些技术在工业设计中扮演着关键角色。

                5. 降低成本：通过使用GPU加速，企业可以在不增加硬件成本的情况下提高仿真性能，从而降低总体拥有成本。

                6. 促进创新：GPU加速使得以前难以实现的复杂仿真成为可能，这有助于工程师探索新的设计理念和技术，推动工业创新。

        4.运行体验和意见

                在整体使用该软件，无论是从性能、处理逻辑、视觉体验来说都很不错，在此希望官方能够优化该软件对显卡的兼容性，在测试NVIDIA A10和T40显卡中，出现报错无法使用，希望能够整改。