安装适配版本的CUDA、cuDNN&TensorRT
模型部署推理时,涉及Trt与CUDA版本匹配的问题,本文记录一下如何查询匹配的CUDA,cuDNN和TensorRT版本,并配置安装。
先说版本结论:
40系卡推荐版本:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2
具体可按下述步骤查看支持与匹配的版本:
一、 确定适合的版本
1. 查询显卡型号和计算能力
(1)Win + R,运行中输入dxdiag,弹出页面中查看显卡型号为:RTX 4060 Laptop
(2)打开如下网址:查看显卡对应的计算能力,本机RTX 4060 Laptop的计算能力为8.9
CUDA GPUs - Compute Capability | NVIDIA Developer
2. TensorRT查看支持计算能力的TensorRT版本和适配CUDA版本和cuDNN版本
(1)打开TensorRT官网说明文档,查看各版本支持的计算能力。
https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#trt_8
(2)查看各版本支持的计算能力平台,支持8.9算力的最低TensorRT版本为8.5.1,版本选择一般选当前大版本下最新的小版本,此处选择TensorRT-8.5.3.1。根据脚注23说明,匹配的CUDA版本最低为CUDA-11.8
(3) 支持平台显示匹配的cuDNN版本为cuDNN 8.6.0
至此确定版本为:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2
二、Windows下安装
1. CUDA安装
(1)以下网址查看CUDA历史版本,下载指定的版本
https://developer.nvidia.com/cuda-toolkit-archive
(2)下载完成后,双击按步骤进行即可。
nvidia-smi
查看当前显卡驱动最高支持的CUDA版本。如图,本机驱动版本为528.52,最高支持CUDA版本12.0
驱动支持选定的CUDA版本时,若不想切换显卡驱动,可选择自定义安装,取消勾选Driver components。
(3)安装多版本的CUDA可将系统变量和Path中要生效版本的环境变量移到上面
2. cuDNN安装
(1)以下网址查看cuDNN历史版本,选定对应的版本
https://developer.nvidia.com/cudnn-archive
(2)下载完成后,将压缩包中文件拷贝到CUDA安装的路径下即可。
3. TensorRT安装
(1)以下网址查看TensorRT历史版本,选择对应的版本下载
https://developer.nvidia.com/tensorrt/download
(2)将安装包解压到要放置的路径下,配置TensorRT的lib路径到环境变量Path中,生效版本以在上的版本为主:
(3)为了方便部署onnx模型,可将TrT中bin文件夹下可执行文件trtexec.exe文件拷贝到lib文件夹下。这样直接编辑bat脚本即可完成模型的部署
4. 验证CUDA安装成功
Windows终端输入指令,验证CUDA配置版本,完成安装
nvcc -V