Windows下CUDA、CUDNN、TensorRT安装及配置

Windows下CUDA、CUDNN、TensorRT安装及配置

下载链接：

CUDA

最新版本： https://developer.nvidia.com/cuda-downloads

历史版本：https://developer.nvidia.com/cuda-toolkit-archive

CUDNN（需要注册NVIDIA账号）

最新版本：https://developer.nvidia.com/rdp/cudnn-download
历史版本：https://developer.nvidia.com/rdp/cudnn-archive
一定要和安装的CUDA版本对应

TensorRT（同样需要注册NVIDIA账号）

https://developer.nvidia.com/nvidia-tensorrt-download

---

NVIDIA国内下载有点慢，建议翻墙

---

安装过程

CUDA

NVIDIA® CUDA®工具包为创建高性能 GPU 加速应用提供了发展环境。使用 CUDA 工具包，您可以在 GPU 加速嵌入式系统、桌面工作站、企业数据中心、基于云的平台和 HPC 超级计算机上开发、优化和部署您的应用程序。工具包包括 GPU 加速库、调试和优化工具、C/C++编译器以及一个运行时库，以便在包括 x86、Arm 和 POWER 在内的主要架构上构建和部署您的应用程序。科学家和研究人员可以利用内置功能在多 GPU 配置中分配计算，开发从单个 GPU 工作站到拥有数千个 GPU 的云安装的应用程序。

1、Win+R打开运行对话框，输入cmd打开命令行提示符，输入nvidia-smi查看与显卡驱动版本对应的cuda版本

打开CUDA的链接，其中network是在线安装，local是本地安装，网络不好建议选择local
下载完成后点击安装，

这个路径可以不用修改，是缓存路径，安装完成后会消失。
一路 点击…

这里建议选择自定义，如果显卡驱动一类是最新的话只用安装CUDA就行了。
更改安装位置。
继续一路 点击…
若看到CUDA_PATH和CUDA_PATH_V12_2添加到环境变量说明安装成功。

或者Win+R打开运行对话框，输入cmd打开命令行提示符，输入nvcc -V
显示如下内容说明安装成功

CUDNN

NVIDIA CUDA®深度神经网络库（cuDNN）是一个用于深度神经网络的GPU原始加速库。cuDNN 为标准例程（如前向和反后卷积、池化、归一化和激活层）提供了高度调整的实现。世界各地的深度学习研究人员和框架开发人员依靠 cuDNN 获得高性能 GPU 加速。它允许他们专注于培训神经网络和开发软件应用程序，而不是花时间在低级别的GPU性能调整上。cuDNN加速广泛使用的深度学习框架，包括Caffe2、Chainer、Keras、MATLAB、MxNet、PaddlePaddle、PyTorch和TensorFlow等。

参考官方教程：https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-windows
解压下载下来的cudnn压缩包，将 include文件夹中文件复制到CUDA安装路径的include文件夹，将bin文件夹中所有文件复制到CUDA安装路径的bin文件夹，将lib 中所有文件复制到CUDA安装路径的lib\x64文件夹。

TensorRT

TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK。包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtime。能够以更高的吞吐量和更低的延迟运行深度学习模型。

其中EA代表抢先体验，GA是稳定版，这里安装的版本要和cuda和cudnn版本对应。

下载后解压，将 include文件夹中文件复制到CUDA安装路径的include文件夹，将lib文件夹中所有lib文件复制到CUDA安装路径的lib\x64文件夹，将lib 中所有dll文件复制到CUDA安装路径的bin文件夹。

检验安装方法

老版本的TensorRT在samples里有一个sampleMNIST项目，一般用这个作为检验，新版的移除了这个项目，就用的sampleOnnxMNIST，反正都一样。
用vs打开sample_onnx_mnist.sln。在sample_onnx_mnist.sln下，重新生成解决方案，再执行，若出现类似下图的数字，则配置TensorRT成功。

写在最后

老版本的运行会会报一个“Could not locate zlibwapi.dll. Please make sure it is in your library path”的错误，在https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-zlib-windows
中说明了，下载对应的64位zlibwapi.dll，解压后将zlibwapi.dll文件放到CUDA安装路径的bin文件夹即可正常运行。