tensorrt轻松部署高性能dnn推理_一文带你轻松上手TensorRT，为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化...

摘要

医疗影像深度学习推理应用具有计算量大、实时性要求高的特点。如果没有对应用进行很好地优化，便会降低医疗AI在实际使用过程中的使用体验，同时也带来算力成本的增加。借助用于高性能深度学习推理的SDK——NVIDIA TensorRT，可以为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化，提高推理效率！

TensorRT是什么？

NVIDIA TensorRT是一个用于高性能深度学习推理的SDK。它包括深度学习推理优化器和运行时，可以为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化。

为什么要使用TensorRT？

医疗影像深度学习推理应用具有计算量大、实时性要求高的特点。举个例子，一张CT影像往往具有几百层甚至上千层数据，在做推理的时候相当于对几百上千张图片进行计算。如果没有对应用进行很好地优化，那么处理完一张CT会需要很长时间，这就会降低医疗AI在实际使用过程中的使用体验，同时也带来算力成本的增加。因此，优化推理过程、提高推理效率对医疗影像应用落地至关重要。

基于TensorRT的应用程序在推理过程中比仅使用CPU的平台快40倍。使用TensorRT，您可以优化使用所有主流框架训练的神经网络模型，最后部署到超大规模数据中心或嵌入式平台。

TensorRT建立在CUDA(NVIDIA并行编程模型)上，使您能够利用CUDA-X中人工智能、自主机器、高性能计算和图形的库、开发工具和技术，为所有深度学习框架优化推理。

TensorRT为深度学习推理应用程序(如图像、视频流、语音识别、推荐和自然语言处理)的生产部署提供INT8和FP16优化。降低精度推理显著降低了应用程序延迟，这是许多实时服务、自动和嵌入式应用程序的要求。最新发布的TensorRT 7.1版本加入了对Ampere架构GPU的支持，并加强了对3D模型的支持，使用FP16进行3D模型的推理，可以获得更强的性能提升。

TensorRT在多种AI模型上的Benchmark

(复制链接至浏览器打开，了解更多：https://developer.nvidia.com/deep-learning-performance-training-inference#deeplearningperformance_inference )

如何上手TensorRT？

NVIDIA与深度学习框架开发人员密切合作，在人工智能平台上使用TensorRT实现优化的推理性能。如果您的训练模型是ONNX格式或其他流行的框架，比如TensorFlow和MATLAB，那么有一些简单的方法可以将模型导入TensorRT进行推理。

• TensorRT已经集成到TensorFlow中，在您的TensorFlow程序中，仅需几行代码，就可以获得TensorRT的强大推理性能优化。(更多信息请见TensorRT integrated with TensorFlow：https://developer.nvidia.com/blog/tensorrt-integration-speeds-tensorflow-inference/)

• TensorRT提供了一个ONNX解析器，因此您可以轻松地通过ONNX将Caffe2、Chainer、Microsoft Cognitive Toolkit、MxNet和PyTorch的模型导入TensorRT。(了解有关TensorRT中ONNX支持的更多信息：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#import_onnx_python)

• TensorRT还与ONNX Runtime集成，为ONNX格式的机器学习模型提供了一种实现高性能推理的简单方法。(了解有关ONNX Runtime - TensorRT集成的更多信息：https://azure.microsoft.com/en-us/blog/onnx-runtime-integration-with-nvidia-tensorrt-in-preview/)。

我们在Github上开源了一系列TensorRT的sample，包括医疗影像分割任务中常用的MaskRCNN:

https://github.com/NVIDIA/TensorRT/tree/master/samples/opensource/sampleUffMaskRCNN。

基于TF-TRT的3D V-Net的sample：

https://github.com/NVIDIA/DeepLearningExamples/blob/2984d8523a95b483f3cc7f1e145683f1538b96f9/TensorFlow/Segmentation/VNet/utils/tf_export.py

除此之外，我们在Youku也有相关视频，帮助您快速了解并上手TensorRT：

http://i.youku.com/i/UMTA3MjYwNA==/videos?q=tensorrt

想要了解更多TensorRT的信息，请访问我们的官网：

https://developer.nvidia.com/tensorrt

在训练和部署COVID-19 AI模型时，研究人员也需要借助此类SDK和工具来帮助实现完成，从而加速工作流程。NVIDIA Clara正在携手合作伙伴共同优化这些软件工具，助力开发者加速研发进度，为医疗领域深度学习应用提供低延迟和高吞吐量的推理优化。

不久前，面向医疗影像的最新版Clara Medical Imaging已发布，可为客户提供更加便捷的医疗影像AI开发与部署的工具。借此，即使是不熟悉程序开发的医疗从业人员也可以快速训练出自己的AI模型并部署到工作场景中。

近期，NVIDIA数据科学家张萌就此话题进行了一场专业的网络研讨会，详细介绍了Clara Medical Imaging平台及SDK的诸多应用。想要进一步了解研讨会内容，欢迎点击文末“阅读原文”，观看NVIDIA医疗影像在线研讨会精彩内容回放！

演讲主题：

从0到1，无程序开发基础也可快速训练和部署COVID-19 AI模型到工作场景

演讲嘉宾

NVIDIA数据科学家张萌。负责NVIDIA医疗健康行业GPU计算解决方案设计与研究，包括深度学习训练和推理，GPU分布式并行计算加速等。

研讨会内容

1. Clara Medical Imaging介绍

2. Clara Medical Imaging 的AIAA辅助标注工具提高医疗影像标注效率

3. Clara Medical Imaging加速AI训练和推理 

4. 使用Clara Deployment SDK进行高效部署

5. Clara Medical Imaging助力COVID-19研究

观看方式

点击阅读原文，填写注册信息报名，观看NVIDIA医疗影像在线研讨会精彩视频回放。