NVIDIA机器人技术_NVIDIA isaac 机器人平台概述

Black_Rock_br

已于 2025-01-04 12:33:18 修改

阅读量1.1k

点赞数 25

分类专栏： NVIDIA Omniverse future 文章标签：机器人人工智能

于 2024-12-27 15:38:33 首次发布

本文链接：https://blog.csdn.net/Black_Rock_br/article/details/144716356

版权

NVIDIA Omniverse future 专栏收录该内容

2 篇文章

订阅专栏

引言：

在当今快速发展的技术时代，人工智能（AI）和机器人技术正逐渐渗透到我们生活的方方面面。NVIDIA，作为全球领先的图形处理器（GPU）制造商，不仅在游戏和图形处理领域占据领导地位，也在AI和机器人技术领域扮演着重要角色。NVIDIA Isaac机器人平台正是这一战略布局的关键组成部分，它是一个专为AI机器人设计的综合性开发平台，旨在通过提供先进的工具和框架，加速机器人技术的发展和创新。

NVIDIA Isaac平台通过整合NVIDIA在GPU加速计算、深度学习和机器人技术方面的专业知识，为开发者提供了一个强大的工具集，以构建、训练和部署智能机器人。这个平台不仅包括了用于机器人感知、导航和操作的AI模型，还提供了一个高度逼真的仿真环境，使得开发者能够在虚拟世界中测试和优化他们的机器人应用，从而减少现实世界中的风险和成本。

随着自动化和智能化需求的不断增长，NVIDIA Isaac平台正成为推动工业、物流、服务和研究等领域机器人技术进步的重要力量。通过这个平台，NVIDIA正在帮助全球的开发者和企业构建下一代的智能机器人，以应对日益复杂的挑战，并开启新的商业机会。

一：NVIDIA 的市场概况和应用认知探讨

1：机器人市场与应用

基础的市场从去年到今年在各个不同的展会和各个行业，大家看到非常非常多的应用我们这里做了一些简单的列举：比如在物流和仓储这边我们看到过了一些领先的物流的厂商已经在使用中和以及我们在一些国际大厂比如亚马逊等等相关的物流都有非常广泛的应用。在制造业上面我们有做很好的一些数字孪生应用。以及利用机前的积累能力来做一些这种比较难于替代的任务或者说对人工来说我需要去三班时间全天候或者类似的任务。农业上面的各类一些农业机械也已经大规模的把一些机械自动化的视觉技术用到这个农业上了。建筑医疗零售等等也有非常多的机型和不同的一些机构和购物小车或者手术机械相关的一些应用也在开发中，最终可能就是说能够打造出一个超级智能体，或者说能够在很多不同的场景下去物理世界的一个真实的产品。

我们通过机器人能够帮助人类本身去完成很多重复性的或者说需要很长时间积累才能做到事情
能够把人类从一些物质资料的生产观众解放出来让人能够从事更多相对高级或者上层的一些活动
所以也就是机器人会大大提升我们所处时代的一个生产力。

实际上我们认为这个市场的规模会是下一个比我们当前整个公司的营业规模的更大的一个市场。

2：机器人开发目标

那我们要做机器人实际上我们会讲哎哎怎么样能够做好一个机器人或者说我们一些基础的任务我们该怎么来做? ~!

我们首先看到的就是说爱能够帮助解说我们很多需要的一些机器人的一些技能
比如我们下面就讲了一个是类似于自动驾驶一样的
我们要完成一个东西就是从A点移动到B点
那我们就肯定需要很多这种自主移动的能力
这一块就是我们认为需要AI的辅助来帮助他做了这一点,需要去感知周围的反境,然后我做出核内的路径规划,避免当中的碰撞等等。这些就是所谓的能够自主移动。

另一些就是我能够像人的手一样去做一些跟人类似的操作。这些就是一个更复杂,它需要一个复杂的反向判断能力,可能原来我们说近似图片类似图像这种类型的视觉处理能力反而已经不够了,我们需要对反向意识有一个综合的感知,然后做出一个更加正确的判断,再去执行对应的操作,也就是我们未来所谓的端到端大模型所要做的一个事情，在这个巨大的智能体上面来完成。另外就是说我们这种可以移动的，就是说我不可能不满足于我在一个固定的地方去做一些机械臂的动作,我希望我的机械臂和我的底下是可以移动的,这样子我能够做更多复杂场景,复杂任务的一个解锁

3：机器人开发基础任务和挑战

所以对于我们要做这样一个机器人,我们遇到的挑战有哪些?我们也就我们自己的认知简单的跟大家做一个判讨。

第一个我们认为最难的就是说我们要有一个相对来说比较完美的一个仿真的反应,它能够满足一定的要求,能够比较准确地反映物理的真实,并且能够设计相对合理的Pipeline去验证它的功能。

第二个就是说我们的数据的问题,就是说我们怎么获得大量的不同样的或者能够有一些操作性的数据,这个是意味着什么?就是说我们要学会什么东西,对于一个小孩来说他需要积累很多的基础知识,然后掌握对的能力,他可能才会解一个复杂的医院二十方程,或者将来再去解更高阶的这种微分方程等等。

那对于机器人来说,我要完成一个复杂的任务,我需要做什么?我需要做的事情跟一个小孩进阶是一样的一个道理。

我需要海量的数据帮助我,告诉我怎么样完成一个任务,或者怎么样完成一类任务,怎么样去跟人一样去完成对那个任务,这个就需要一个海量数据的支撑。
我们把这个理解能力和我们的执行能力结合到一块,才能构建出我们所需要的这个物理AI。

所以说数据的重要性在这个训练非字口AI的过程中非常非常的重要。

我能够首先有一个把这些数据存出来,能够导到我的GPU里面去做一些简单的模型训练。
我的模型的大小可能现在大家普遍停留在做一个几十个B这种类似的模型上面。

如果未来我的机器人需求更复杂,可能也会引入MOE,做这种更复杂的多模态模型。
那做这种模型我们背后需要海量的算力支撑,这是训练。4

如果未来我的机器人需求更复杂,可能也会引入MOE,做这种更复杂的多模态模型。
那做这种模型我们背后需要海量的算力支撑,这是训练。

第三个其实讲这个算力的问题我一向都喜欢稍微扩展一下,因为大家知道为什么说大模型现在才能活起来。
我想说大模型其实在前些年我们就有全球覆没的概念,但为什么到后面才起来?
实际上跟我们的算力的能力是不可分的。原来我们的算力规模可能做一个千卡万卡的集群,顶多能够支持我们训练一个几十个B这种类似的。
那为什么到恰里GPU我们能做这么大的事情?是因为我们有新的Hopper这一代的产品,我们可以做175B的产品。
我们进一步可以有405B或者更大的模型,我们可以在这个集群上做训练。
但以前我们想在V100上面训练一个405B或者MV1.8T的这样的大模型,简直就是不可能实现的。

总之：

1：比较准确地反映物理的真实来相对合理的Pipeline去验证它的功能

2：怎么获得大量的不同样的或者能够有一些操作性的数据

3：需要一个巨大的算力来支撑

以上三项：是理想中的这个物理的AI或者我们叫做巨生智能体的三大挑战是当下最为重要解决问题。

4：关键技术

第一个我们的巨生智能体训练仿真我们需要大的数据中心的集群。
那在边缘端我的智能体既要能做感知,也要能做一个复杂任务的推理去完成电的动作,
那我们就需要我们边缘端的AI Compute。这个也是我们第一个提出来,就是巨生智能本体上的一个控制器。
第二个就是我们的模型的训练需要一个大的数据中心集群。
第三个就是我们的Robot learning,这个我们也是持续不断在努力的一个方向

第四个我们想强调的就是我们数据的来源。我们会是基于我们的SDG合成数据生成的功能,我们去生成海量的数据,用于我们的模型训练和我们的访问。

5：软件栈架构

怎么样能够让机器人学到更多的本领,能够有一个更好的算法,
让它能完成对于本体的控制,平衡性能的控制,对于我的行走姿态,对于我完成某个任务需要采取的未知。

就是从上到下,我们最上面是我们的高阶的推力,然后接下来是我们的杆子和规划,然后是我们的实时控制,然后是硬件的一个抽象层。可能硬件的抽象层大家容易理解,因为任何一个现在比如说学习机,或者说iPad或者什么之类的任何产品,我都会有我的一个Hardware,都会有我的一个语音视频的输入输出,或者说我的一些这种触摸的传感器等等。但我们要做机前这里面会有一些特殊的一些传感器,比如说我的Position Sensor,我的一些Incode,Decode,我的IMU等等。这个更多类似于一个综合平衡的机器,就是说我的机器得有对应的输入输出接口,我得想办法把它用起来,我得拥有跟人一样的眼睛,我得能说话,我也能听到别人说话,这样才有互动的可能。所以这是我们硬件抽象层所要完成的事情。在硬件抽象层之上,我们就要想到我们怎么来用我们的技术来控制这个硬件抽象层。比如我们用了很多先进的电机,我们去控制它的力矩,控制它的位移,角速度等等。这些的话我们都需要一个相对比较精确,比较细腻度的控制。再往上一层就是我们的感知和规划。我们认为这一层主要就是完成了我们对周围环境的感知,比如说我接收语音的处理,我的对视频环境的视频里,对我摄像头所看到的东西,我有一个直观的观测,对我们的目标有一个识别和定位等等。

6：机器人技术变革

接下来我们想讲就是说对于robot的这个革新,我们认为最重要的两个技术相当于是引领这个机器人的一个变革。
第一个就是我们的多模胎的生产式AI,也就是我们通常所说的这种多模态的大模型。

另外一个就是我们的simulation goal,就是说我们能大规模的去做一个仿真,这样子让我们许多用物的这个模型实现变得可能。如果没有大规模仿真,我们可能很难啊激情学会去做这个事情,因为本质上我们就是一个以算力换时间的一个做法,
所以我们认为多模胎的生产式AI和我们的大规模仿真实际上是我们做激情这个变革最重要的两个技术。

下面我们来介绍NVIDIA Isaac基础平台。

二：主要是给大家完整的做一下NVIDIA Isaac基础平台介绍

实际上NVIDIA Isaac基础平台解决了我们的训练仿真数据,以及我们多模胎的大模型,还有我们的这个simulation的大规模仿真的一个能力。我们把这个几个能力分成了三大平

1： 解决方案与平台

a:仿真的平台：

最中间这个仿真的平台,这个平台拿来干什么,实际上它就是说对我们做早期的验证,对我们做大规模的这个功能的学习,强化学习都是就我们仿真这个模块。

b:Foundation Model：

是由精心挑选的社区模型和 NVIDIA 构建的模型组成，并针对峰值性能进行了优化。开发者可以直接通过 API 或图形用户界面从浏览器中快速使用这些模型，无需任何设置。模型通过 NVIDIA TensorRT-LLM 和激活感知型权重量化 (AWQ) 进行了优化。这些模型的推荐提示模板可在其各自的模型卡上找到

c:大规模仿真能力：

特点：实时性与大规模并行，仿真高精度物理仿真，逼真视觉效果，多传感器模拟支持，与 ROS 框架集成，强大的可视化功能。

2：物理部署：

NVIDIA的物理部署涉及多个方面，包括实时计算、Vecflow以及ISAAC的Pseplar。以下是这些技术的简要介绍：

1. 实时计算：
- NVIDIA Omniverse™ 提供了一个平台，允许开发者创建具有实时交互性的数字孪生。这些数字孪生可以用于航空航天、汽车、制造、能源等行业的计算机辅助工程（CAE）客户，以降低开发成本和能耗，加快产品上市时间。Omniverse Blueprint 是一个包含NVIDIA加速库、物理AI框架以及基于物理学的交互式渲染的参考工作流，能够将仿真和实时可视化速度提高1200倍。

2. Vecflow：
- Vecflow 是NVIDIA Modulus物理AI框架的一部分，用于训练和部署模型以生成流场。它通过整合NVIDIA CUDA-X™库，提供了加速求解器的能力，这对于构建实时物理数字孪生系统至关重要。

3. ISAAC的Pseplar：
- NVIDIA ISAAC 机器人平台包含了ISAAC SDK和ISAAC SIM，提供了从仿真建模到边缘端部署的全套机器人解决方案。ISAAC SIM是基于NVIDIA Omniverse构建的参考应用，开发人员可以借助它，在基于物理学的虚拟环境中对AI驱动的机器人进行仿真和测试。ISAAC的Pseplar可能指的是ISAAC平台中的一个组件或功能，用于仿真和部署。

这些技术共同构成了NVIDIA在物理部署方面的强大能力，使得企业和开发者能够利用NVIDIA的硬件和软件优势，实现高效的仿真、训练和部署AI模型。

NVIDIA Isaac Sim 是一个全面的仿真平台，它提供了从训练到仿真再到机器人本体产品的全方位解决方案。以下是Isaac Sim的产品与工作流程，以及ISAAC的Percept、Malipulator、Groot的介绍：

3：NVIDIA Isaac Sim 的产品与工作流程

a. Isaac SDK：提供了丰富的API和工具，帮助开发者快速构建和部署机器人应用。

b. Isaac Sim：基于NVIDIA Omniverse平台构建的仿真工具，提供了高度逼真的虚拟环境，用于测试和优化机器人算法。

c. Isaac ROS：NVIDIA Isaac平台与ROS（机器人操作系统）的集成组件，提供了ROS与NVIDIA硬件的高效连接和通信。

d.Isaac GEMs：NVIDIA Isaac平台提供的预训练模型和算法库，涵盖了机器人导航、路径规划、计算机视觉等多个领域。

e. Isaac Fleet：NVIDIA Isaac平台的部署和管理工具，用于在实际环境中部署和管理多个机器人。

ISAAC的Percept、Malipulator、Groot

1. Isaac Perceptor：
- 基于Isaac ROS构建，是NVIDIA加速库和AI模型的参考工作流，帮助快速构建稳健的自主移动机器人（AMR），以便在非结构化环境中进行感知。
- 提供了多摄像头和3D环绕视觉功能，这些功能正越来越多地被制造业和物流业中的自主移动机器人所采用，以提高效率和更好地保护工人。

2. Isaac Manipulator：
- 基于Isaac ROS构建的工作流程，使开发者能够将AI加速应用于机器人臂或操作器，以便无缝感知、理解环境并与环境进行交互。
- 提供了一系列先进的运动生成和模块化AI功能，以及各种基础模型和GPU加速库，为动态操纵任务构建可扩展和可重复的工作流。

3. Isaac Groot：
- 虽然搜索结果中没有直接提及Isaac Groot，但根据NVIDIA Isaac平台的命名习惯，Groot可能是指Isaac Sim中的一个组件或功能，用于支持机器人的学习和训练。具体信息可能需要进一步的官方文档或资源来确认。

训练、仿真、机器人本体产品介绍

1. 训练：
- Isaac Sim集成了生成式AI技术，允许开发者利用AI生成复杂的场景和环境，加速数据集的生成，并提高机器人在现实世界中的适应性和鲁棒性。

2. 仿真：
- Isaac Sim提供了基于物理的仿真环境，能够模拟现实世界中的物理现象，如重力、摩擦力、碰撞等，使得开发者可以在虚拟环境中进行复杂的机器人操作和环境交互测试。

3. 机器人本体产品：
- NVIDIA Isaac平台提供了从软件开发套件（SDK）到实际的机器人硬件产品，如Isaac Nova Orin，这是一个加速自主移动机器人开发和部署的先进计算和传感器平台。

这些组件和产品共同构成了NVIDIA Isaac Sim的强大功能，使其成为机器人和人工智能领域的一个重要平台。

3.训练与仿真工具

NVIDIA TAO 工具套件：
- TAO（Transfer Learning Toolkit）是基于TensorFlow和PyTorch构建的低代码AI工具包，旨在简化和加速AI模型的开发和部署。它通过抽象化AI模型和深度学习框架的复杂性，使得用户能够在几个小时内（而非数月）构建生产级计划。
DIGITS: NVIDIA的深度学习GPU训练系统：
- DIGITS是一个强大的工具，专为深度学习领域设计，以满足GPU训练的需求。

仿真工具

NVIDIA Isaac Sim：
Isaac Sim是一个基于物理的虚拟环境，允许开发者设计、模拟、测试和训练基于AI的机器人和自主机器。它充分利用了Omniverse平台的强大模拟技术，包括高级GPU物理模拟、逼真效果的实时光线和路径追踪，以及基于物理性质的渲染。
NVIDIA DRIVE Sim：
DRIVE Sim仿真平台包含神经重建引擎（NRE），一个AI工具集，能够将真实场景数据转化为仿真。

训练挑战与模型优化

Tile工具：
- Tile工具是NVIDIA提供的一个工具，用于优化大规模模型训练。它通过将大型模型分割成较小的块（tiles），在多个GPU上并行训练，从而克服内存限制并加速训练过程。

ASIC SIM、ASIC Lab、SDG、强化学习

ASIC SIM：
ASIC SIM可能是一个仿真工具，用于模拟特定于应用的集成电路（ASIC）的行为，但具体信息需要进一步的官方文档或资源来确认。
ASIC Lab：
ASIC Lab是NVIDIA提供的GPU加速的开源框架，专为简化机器人研究工作流程而设计，特别是在强化学习、模仿学习和运动规划等领域。
SDG（合成数据生成）：
合成数据生成是Isaac Sim的一个关键特性，它允许开发者生成合成数据、训练机器人策略并运行多种假设场景，以在部署之前验证整个机器人堆栈。
强化学习：
强化学习是机器学习的一个领域，NVIDIA的计算平台（包括Isaac Lab等工具）能够充分利用GPU的强大性能，在强化学习工作流中进行物理仿真和奖励计算，消除相关瓶颈并简化流程，促进从仿真更顺利地过渡到实际部署

4：机器人本体与实时工作流程

Project GR00T：
Project GR00T是NVIDIA主导的一个研究项目，旨在开发通用的基础模型、工具和技术，以加速人形机器人的发展。
Isaac Manipulator：
NVIDIA Isaac Manipulator是基于Isaac ROS构建的参考工作流，它集成了NVIDIA加速库和AI模型，帮助开发者构建AI赋能的机械臂或操作器，实现无缝感知、理解和与环境的交互。

实时工作流程

I-SatRos：
虽然搜索结果中没有直接提及I-SatRos，但根据NVIDIA的产品命名习惯，I-SatRos可能指的是Isaac ROS，这是一个为机器人应用开发的中间件，提供了一系列工具和库，以实现高性能的机器人控制和感知。I-SatPerspective：同样，I-SatPerspective在搜索结果中没有明确提及，但可能与Isaac平台的视觉相关的工具或库有关，用于提高机器人的视觉感知能力。
Maniplator：
这个名词可能是对Isaac Manipulator的误写或简写，Isaac Manipulator提供了一套工作流，用于开发用于远程操作和自主控制的人形机器人全身控制策略（WBC策略）。
Groot：
Groot可能是对Project GR00T的非正式称呼，Project GR00T利用NVIDIA的三计算机机器人堆栈，包括NVIDIA AI和DGX用于模型训练，Isaac Lab和Isaac Sim用于仿真环境中的机器人学习，以及Jetson Thor用于人形机器人的高性能计算平台。

Jetpack与Jetson产品系列

Jetpack：
JetPack是NVIDIA为Jetson平台提供的软件开发工具包（SDK），它包含了一系列的库和工具，用于开发和部署AI应用。JetPack支持Jetson系列模块，帮助开发者快速训练和部署神经网络。
Jetson产品系列：
NVIDIA Jetson产品系列包括Jetson AGX Orin Development Kit、Jetson TX2、Jetson Nano等，这些模块和开发套件使AI驱动的自主机器成为可能，它们能够在低功耗下提供高达数十TOPS的AI性能。

三：我们的一个简单的上手的快速体验过程

就请从nvidia github 上下载资料开始你的第一个机器人仿真开始体验耶！