NVIDIA Isaac for Healthcare — AI 医疗机器人开发平台

强化学习与机器人控制仿真

已于 2025-04-17 21:58:16 修改

阅读量883

点赞数 34

分类专栏： Isaac Sim 仿真与控制教程文章标签：人工智能机器人深度学习开发语言自动驾驶 stm32 单片机

于 2025-03-25 07:00:00 首次发布

本文链接：https://blog.csdn.net/2506_90492529/article/details/146463437

版权

Isaac Sim 仿真与控制教程专栏收录该内容

4 篇文章

订阅专栏

系列文章目录

前言

一、Isaac for Healthcare：为医疗保健领域的下一波人工智能机器人技术提供动力

四、Isaac for Healthcare 的早期采用者和生态系统合作伙伴

五、开始

前言

医疗技术的未来是机器人的未来--医院将实现完全自动化，人工智能驱动的手术系统、机器人助手和自主病人护理将改变我们所熟知的医疗保健。

构建人工智能驱动的机器人系统面临着几大挑战。其中之一就是将数据收集与专家见解相结合。另一个挑战是为逼真的解剖结构、传感器和机器人创建详细的生物力学模拟。这些模拟对于生成合成数据和训练机器人至关重要。确保从虚拟到真实世界部署的无缝过渡至关重要，在运行期间以超低延迟管理高带宽、多模式传感器人工智能也同样重要。

这些限制因素突出表明，我们需要一个整体框架，其中包括用于训练高级模型的人工智能计算、用于在高保真虚拟环境中开发和验证机器人行为的仿真计算，以及用于在临床环境中实时执行的运行时计算。

英伟达™（NVIDIA®）Isaac for Healthcare是一款针对人工智能医疗保健机器人的开发人员框架，可帮助医疗保健机器人开发人员解决这些难题。Isaac for Healthcare是一个针对特定领域的框架，利用英伟达™（NVIDIA®）三维计算机系统实现物理人工智能。

它包括用于预训练模型和智能体人工智能框架的 MONAI，其中 MAISI 和 Vista-3D 等模型可生成模拟工作流所需的解剖合成数据。其次，它包括用于仿真的 NVIDIA Omniverse（NVIDIA Isaac Sim 和 NVIDIA Isaac Lab），使开发人员能够引入医疗设备/机器人、传感器和解剖结构，以创建特定领域、物理精确的虚拟环境，让机器人系统能够安全地学习技能。第三，它包括用于机器人部署和实时传感器处理的英伟达 Holoscan。

该框架提供的功能包括数字原型、硬件在环（HIL）产品开发和测试、用于人工智能训练的合成数据生成、策略训练以及跨医疗机器人的实时部署：

手术和介入机器人技术。
成像和诊断机器人。
康复、辅助、服务机器人技术。

图 1. 英伟达™（NVIDIA®）三台计算机解决方案为医疗保健领域的下一波人工智能机器人浪潮提供动力

一、Isaac for Healthcare：为医疗保健领域的下一波人工智能机器人技术提供动力

Isaac for Healthcare 将数字双胞胎和物理人工智能的力量结合起来，用于

下一代医疗保健机器人系统、传感器和仪器的数字原型。
利用高保真模拟环境生成的真实数据和合成数据训练人工智能模型。
利用硬件在环（HIL）评估数字孪生环境中的人工智能模型。
通过在数字孪生中启用 XR 和/或触觉远程操作机器人系统，收集数据以通过模仿学习训练机器人策略。
利用 GPU 并行化来训练强化和模仿学习算法，从而训练机器人的增强灵巧性策略（例如，在机器人辅助手术中）。
通过 HIL 数字孪生系统对机器人系统进行连续测试 (CT)。
创建部署应用程序，将仿真与现实世界连接起来，并在物理手术机器人上进行部署。

最新发布的版本具有两个端到端手术子任务自动化和自主机器人超声参考工作流，涵盖手术和成像机器人的用例，旨在为您的用例快速开发自主机器人功能。

下面回顾一下这些工作流程。

二、机器人手术子任务自动化工作流程

本工作流程可作为模板，供旨在构建和部署手术子任务自动化解决方案的开发人员使用。它结合了数字双胞胎、强化和模仿学习、高保真合成数据生成和实时机器人评估，为人工智能驱动的手术自动化提供了一种可扩展的方法。

ORBIT-Surgical是英伟达公司、PAIR实验室（多伦多大学和佐治亚理工学院）和AUTOLAB（加州大学伯克利分校）的合作项目，苏黎世联邦理工学院也参与了相关研究。

ORBIT-Surgical 正在向 Isaac for Healthcare 过渡，并逐渐发展成为机器人手术子任务自动化工作流程，将与学术界、工业界和临床环境中的现有合作者和新合作者一起进行进一步开发。

图 2. Isaac For Healthcare 工作流程 1（机器人手术子任务自动化）使开发人员能够开发手术子任务自动化策略

约翰-霍普金斯大学和斯坦福大学的合作者们将根据数小时手术视频训练而成的视觉语言模型（VLM）与达芬奇研究套件（dVRK）集成在一起，在达芬奇研究套件中，系统可以自主执行三项关键的手术任务：小心地抬起身体组织、使用手术针和缝合伤口（如上图所示）。

利用这一工作流程，开发人员可以将自己的手术机器人、传感器、器械和患者模型带入 NVIDIA Omniverse，创建高保真手术数字双胞胎。这样，开发人员就能在不接触患者的情况下模拟缝合、切割和组织处理等复杂手术，同时大规模生成大量基于物理的逼真合成数据，用于训练机器人策略。

合成生成的数据集随后会被 Isaac 实验室用于训练强化和模仿学习管道，或微调现有的通用视觉语言动作模型（如 π0），以便为手术机器人捕捉人类外科医生的技能和灵巧性。

最后，在数字孪生中经过充分训练的策略将模拟与现实世界连接起来，并部署到物理手术机器人（本例中为 dVRK）上。

Isaac for Healthcare 在手术子任务自动化工作流程中的主要功能：

自带组件：使用定制的机器人、仪器、用品和解剖结构。
模拟就绪环境：逼真的物理数字双胞胎。
数据生成和收集：合成数据和专家演示。
策略培训：强化和模仿学习技能。
评估和测试：数字双胞胎基准与 HIL 测试。
Sim2Real 传输：从模拟到真实世界手术的人工智能部署。

图 3. Isaac for Healthcare 机器人手术子任务自动化工作流程是一个主要基于英伟达 Omniverse 和英伟达 Holoscan 构建的框架

2.1 BYO 解剖学

这个用于创建逼真解剖模型的流程从人工智能辅助 CT 合成（由 NVIDIA MAISI 完成）和分割（由 NVIDIA VISTA3D 或 Auto3DSeg 完成）开始，然后是网格转换、网格清理和细化、逼真纹理制作，最后将所有纹理器官组装到统一的 OpenUSD 文件中。

该工作流程可创建特定患者模型，用于模拟罕见或复杂病例。这一点尤为重要，因为此类病例的真实病人数据通常很少，因此模拟成为培训和准备工作的宝贵工具。

逼真的人体器官模型可在 GitHub 上获取。

2.2 自带机器人/仪器

工作流程是在达芬奇研究套件（dVRK）上进行的，但所提供的模板可通用于其他机器人平台。导入手术机器人的流程遵循一般的 Isaac Sim 导入指南。有关详细指导，请参阅 Isaac Sim URDF 导入教程。

Isaac Sim 4.5简化了准备仿真机器人模型的工作流程，使您能够将机器人CAD模型转换为USD格式。转换为 USD 格式后，您就可以进行关节装配的基本步骤，包括添加关节物理特性和定义机器人的运动学特性。完成这些重要的准备工作后，您的机器人模型就可以集成到仿真场景（数字孪生）中进行仿真，从而以物理精确的方式与器官或其他物体进行交互。