【通俗易懂】Windows系统安装TensorRT

一、TensorRT介绍

NVIDIA TensorRT是一个由NVIDIA公司开发的用于深度学习推理的高性能SDK。它专门设计用于在NVIDIA GPU上进行高效的神经网络推理，能够大幅度提升深度学习模型的推理速度和效率。

TensorRT的主要特点包括：

• 模型优化：TensorRT通过层融合、精度校准、动态形状等技术优化模型，减少推理时的计算量和内存占用。

• 多精度推理：支持多种精度推理，包括FP32、FP16、INT8等，以平衡性能和精度。

• 跨框架兼容性：TensorRT提供了解析器来支持多种深度学习框架，如TensorFlow、PyTorch、Caffe等，使得这些框架训练的模型可以方便地转换为TensorRT格式。

• 低延迟和高吞吐量：TensorRT针对NVIDIA GPU进行了特别的优化，以实现低延迟和高吞吐量的推理。

• 灵活性和可扩展性：TensorRT提供了C++和Python API，允许开发者根据需要进行高度定制和优化。

总的来说，使用TensorRT就是为了榨干GPU性能，实现高效的推理计算。

二、TensorRT下载

下载TensorRT前需要准备CUDA环境，本文使用的CUDA环境为CUDA12.1。
进入NVIDIA的TensorRT官网: https://developer.nvidia.com/tensorrt，下载前需要登录NVID