AI技术在医疗应用中如何从诊断跨越到治疗？

人工智能（AI）正迅速改变医疗健康领域，覆盖药械研发、疾病诊断与治疗、康复医疗、健康保险、医疗保健、疾病防控、健康检查等。据统计，目前市场上大约有 700 种 FDA 认证的 AI 医疗设备。

不同于传统智能产品，AI医疗设备即使落地后，也需要不断地迭代升级和提升效率，以适应复杂的临床环境。如在外科机器人手术中，AI要实时分析患者数据，包括既往病例，影像数据，并提供3D渲染，以帮助医生做出关键决策。因此，AI医疗产品的开发和落地面临诸多挑战。如何在保障高效和准确的同时，满足实时处理，低延迟和可扩展的需求，是行业内的关键问题。

Tina姐作为临床影像工作者，经常会使用AI医疗产品，包括数坤科技的数字心（冠脉分割）和数字脑（头颈血管分割），推想肺结节检测，西门子神经灌注分析以及各种血管分割等应用。用两个字来形容使用感受，一个是准，一个是慢。真正落地的AI应用在准确性上都有不错的表现，但在效率方面却逊色不少。根本原因在于远端的数据会上传到网络中心服务器计算然后再将结果返回。

为了解决这些实际应用问题，边缘计算应运而生。边缘计算是一种分布式计算架构，它将数据处理和分析任务从中心化的数据中心转移到网络的边缘，即更接近数据源的地方。这种计算模式的核心优势在于减少数据传输的延迟，提高响应速度，以及降低带宽使用。

然而，实现这一切的背后，需要强大的硬件和软件支持。NVIDIA IGX 边缘计算平台和 NVIDIA Holoscan 边缘 AI 平台，为企业提供了强大的 AI 计算能力、灵活的传感器集成、实时性能和功能安全，从而降低各行各业开发先进 AI 解决方案所需的时间和成本。

基于 NVIDIA Holoscan 和 IGX 构建开放式 AI 创新生态系统

NVIDIA Holoscan 加速实时 AI 应用的开发和部署，助力数据流处理。Holoscan 包含参考应用，可为各种医疗用例（包括内窥镜、超声波和其他传感器）构建 AI 应用。它在 NVIDIA IGX 上运行，其包括 NVIDIA Jetson Orin 模组、NVIDIA RTX A6000 GPUs 和 NVIDIA ConnectX 网络技术，可实现来自医疗设备或手术室视频源的高速数据传输。

什么是NVIDIA Holoscan？

NVIDIA Holoscan为开发人员提供了一个单一的生产就绪框架，用于构建端到端实时 AI 传感器处理管道，从传感器数据输入到加速计算和 AI 推理、实时可视化、驱动和数据流输出。

这一综合解决方案有效解决了边缘 AI 开发中的众多挑战。Holoscan 可确保最佳应用程序性能，同时消除开发复杂性，缩短上市时间，并提供使用 Python 和 C++ 编码的便利性，所有这些都在低代码、高性能的基础架构中实现。简而言之，Holoscan 是一个以模块化、可扩展、软件定义和以 GPU 为中心的方式将高速 I/O 连接到 GPU 的框架。

具体来说，Holoscan 平台包括三个主要组件：软件（Holoscan SDK），硬件（IGX）和 企业支持（NVIDIA AI Enterprise)。

第一个组件是软件，如Holoscan SDK为开发人员提供了一个低代码、高性能的环境，开发人员可以通过 Python 或 C++ API 以自己选择的编程语言构建管道。

第二个组件是硬件。Holoscan 支持多种硬件配置，以满足各种功率、尺寸、成本、计算和配置需求，包括：

• NVIDIA Jetson Orin系列产品（Orin Nano、Orin NX 和 AGX Orin）
• NVIDIA IGX Orin
• NVIDIA IGX Orin 加上 NVIDIA 独立 GPU，提供集成和独立 GPU 的综合功能
• 搭载 NVIDIA 独立 GPU 的 x86 系统（工作站或云）

第三个组成部分是企业支持，旨在满足医疗技术产品发布前和发布后的需求。通过 NVIDIA AI Enterprise 提供的 Holoscan 软件产品提供全栈、长期（长达 10 年）的软件支持。

什么是NVIDIA IGX平台

想象一下，你准备开启一场山地自行车冒险之旅，在这之前你已经训练了无数次。现在，你只需要一辆完美的自行车，有最好的减震器、轮胎、刹车、车架、车把和座椅。如果把所有这些零件都预先组装好，可以节省时间和金钱，这样的山地车你想要吗？

NVIDIA IGX 为边缘 AI 应用程序开发人员提供了类似的套件：一个优化的一体化平台。NVIDIA IGX专为工业和医疗环境而设计，可为企业提供边缘 AI 所需的性能、耐用性、安全性和保障性。

IGX 无需花费数年时间设计定制系统和定制 AI 模型，而是利用 NVIDIA AI Enterprise 上的 GPU 加速计算加速各行业高级 AI 解决方案的开发，从而显著减少时间和成本。

在今年6月，IGX 进行了重大平台更新，推出了可投入生产的 NVIDIA AI Enterprise IGX,支持 NVIDIA RTX 6000 Ada GPU。NVIDIA AI Enterprise IGX 包含必要的 AI 库，SDK和企业级 Ubuntu Linux 操作系统。与原来的GPU相比，AI性能提升了7倍。可以满足多模态生成式 AI 部署和高带宽信号处理日益增长的需求。

如图，NVIDIA IGX包括三个应用框架：

• NVIDIA Holoscan用于从边缘到云端的实时传感器处理
• NVIDIA Metropolis用于构建、部署和扩展视觉 AI 应用程序
• NVIDIA Isaac用于构建高性能机器人应用程序

NVIDIA Holoscan 与工业级 NVIDIA IGX Orin 平台和 NVIDIA AI Enterprise 相结合，减轻了企业验证和维护边缘AI平台的负担。它使团队能够专注于构建 AI、利用不断增长的第一方和第三方开发者生态系统开发平台，并快速增加商业价值。

借助 NVIDIA 边缘AI平台，众多AI应用产品已落地

医疗设备企业正在借助 NVIDIA IGX 边缘计算平台和 NVIDIA Holoscan 医疗级边缘 AI 平台，加速在手术室中开发并部署 AI 创新应用。

联影智能是一家提供医疗场景下各种人工智能解决方案的公司，最新产品 uAI-MERITS 是一个强大的以AI技术为底座的元宇宙生态系统。

术前，uAI-MERITS可整合包括患者影像、病史、实验室结果在内的多模态数据，为术前规划提供详尽参考。术中，uAI-MERITS可通过全息仿生实景渲染将患者术前影像投射至患者身体，并在手术过程中持续将渲染图像与患者实体实时配准，辅助医生精准定位手术区域，并于术中全流程联结调控医疗设备，实现手术机器人、移动机械臂等设备自动定位、移动路径自动规划，避免碰撞。

未来，uAI-MERITS也将实现基于术中重要数据自动生成手术报告，为后续治疗计划提供参考。长远来看，从疾病孪生到设备孪生的全程覆盖，uAI-MERITS或将有望助力实现远程手术，助力医疗资源的优化配置，提高优质医疗可及性。

uAI-MERITS 生态系统的核心就是边缘计算。通过在边缘处理数据，系统最大限度地减少了延迟，确保关键信息实时可用。这在每毫秒都至关重要的手术环境下特别重要。为了进一步减少延迟，uAI-MERITS 借助 NVIDIA IGX Orin 平台，利用其强大的 AI 计算能力和高带宽传感器处理能力。结合 NVIDIA Holoscan SDK，uAI-MERITS 能够在现场进行更复杂的低延迟计算，并处理多模态输入，从而确保外科医生能够立即获取最新的信息而不会延迟。

术锐机器人是一家致力于自主研发、生产及商业化的微创腔镜手术机器人的高科技医疗器械企业。是国内单孔微创腔镜手术机器人领军企业。同NVIDIA达成深度合作，通过NVIDIA IGX平台实现产业化升级，制造一致性，降低开发成本，共同推进下一代机器人的研发。

在手术机器人领域，被誉为“达芬奇杀手”的美国手术机器人制造商Asensus Surgical也同NVIDIA达成合作，Senhance®手术机器人平台是第一个数字腹腔镜平台，具备传统外科机器人系统的功能以外，还拥有触觉反馈、眼球追踪摄像头控制、3D可视化等高级特性。其中，独特的眼球追踪手术摄像机控制系统我们可以理解为：系统通过追踪外科医生的眼球活动来控制手术摄像机移动。在术中实现低延时的反馈，离不开NVIDIA 边缘AI计算平台的加持。

除了上述几家公司外，还有强生医疗科技的手术互联数字生态系统，借助NVIDIA IGX 边缘计算平台和 NVIDIA Holoscan 边缘 AI 平台加快部署由 AI 驱动的手术软件应用所需的基础设施，为医疗专业人员提供术前、术中和术后支持。GE 医疗等医疗科技领军企业正在使用 NVIDIA 技术开发、微调和部署适用于软件定义医疗影像应用的 AI。

NVIDIA Holoscan SDK 可以在内窥镜等 AI 医疗设备中实现超高帧率的应用。通过这个 SDK，开发者可以构建能够以 4K 视频 240 Hz 的速度处理数据的 AI 应用程序，从而为外科医生在手术过程中提供实时的洞察和控制。NVIDIA 还提供了 Clara HoloViz 模块，可以实时地将设备数据和预测数据进行 3D 可视化，帮助医生获得更好的器官或肿瘤分割图像。

NVIDIA Holoscan正在引领AI医疗技术的未来。通过提供强大的计算能力、灵活的开发环境和完善的企业支持，Holoscan帮助医疗企业快速将AI技术应用于实际临床中。随着更多企业的加入，NVIDIA Holoscan的生态系统将会更加完善，进一步推动医疗AI的发展。

作为AI医疗产品的使用者和开发者，Tina姐一直在使用和推广NVIDIA的各种硬软件，包括计算GPU，MONAI开发框架，MONAILabel标注软件。也经常参加一些NVIDIA的在线课程和技术峰会。在今年的NVIDIA 2024 GTC峰会上首次了解到NVIDIA Holoscan，分享给大家。

NVIDIA有面向医疗影像和AI应用群。群里会发布最新的活动信息，也有专家解答一些技术应用的问题。这是群的二维码，需要的同学可以扫码申请入群。欢迎大家踊跃交流~

参考资料：
如要开始使用，请下载Holoscan 1.0 并查看版本说明
有关 NVIDIA IGX 平台及其最新进展的更多信息，请参阅 NVIDIA IGX 页面
NVIDIA GTC 2024，进一步了解 NVIDIA Holoscan 以及 AI 传感器流式传输应用的最新进展