CUDA安装&cuDNN、TensorRT版本匹配

模型部署推理时,涉及Trt与CUDA版本匹配的问题,本文记录一下如何查询匹配的CUDA,cuDNN和TensorRT版本,并配置安装。

先说版本结论:
40系卡推荐版本:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2

具体可按下述步骤查看支持与匹配的版本:

一、 确定适合的版本

1. 查询显卡型号和计算能力

(1)Win + R,运行中输入dxdiag,弹出页面中查看显卡型号为:RTX 4060 Laptop
在这里插入图片描述

(2)打开如下网址:查看显卡对应的计算能力,本机RTX 4060 Laptop的计算能力为8.9

CUDA GPUs - Compute Capability | NVIDIA Developer

在这里插入图片描述

2. TensorRT查看支持计算能力的TensorRT版本和适配CUDA版本和cuDNN版本

(1)打开TensorRT官网说明文档,查看各版本支持的计算能力。
https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#trt_8

在这里插入图片描述

(2)查看各版本支持的计算能力平台,支持8.9算力的最低TensorRT版本为8.5.1,版本选择一般选当前大版本下最新的小版本,此处选择TensorRT-8.5.3.1。根据脚注23说明,匹配的CUDA版本最低为CUDA-11.8

在这里插入图片描述

(3) 支持平台显示匹配的cuDNN版本为cuDNN 8.6.0

在这里插入图片描述

至此确定版本为:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2

二、Windows下安装

1. CUDA安装

(1)以下网址查看CUDA历史版本,下载指定的版本
https://developer.nvidia.com/cuda-toolkit-archive
在这里插入图片描述
在这里插入图片描述
(2)下载完成后,双击按步骤进行即可。
nvidia-smi查看当前显卡驱动最高支持的CUDA版本。如图,本机驱动版本为528.52,最高支持CUDA版本12.0

在这里插入图片描述

驱动支持选定的CUDA版本时,若不想切换显卡驱动,可选择自定义安装,取消勾选Driver components。
在这里插入图片描述

(3)安装多版本的CUDA可将系统变量和Path中要生效版本的环境变量移到上面

在这里插入图片描述
在这里插入图片描述

2. cuDNN安装

(1)以下网址查看cuDNN历史版本,选定对应的版本
https://developer.nvidia.com/cudnn-archive

在这里插入图片描述
(2)下载完成后,将压缩包中文件拷贝到CUDA安装的路径下即可。
在这里插入图片描述

3. TensorRT安装

(1)以下网址查看TensorRT历史版本,选择对应的版本下载
https://developer.nvidia.com/tensorrt/download
在这里插入图片描述
(2)将安装包解压到要放置的路径下,配置TensorRT的lib路径到环境变量Path中,生效版本以在上的版本为主:
在这里插入图片描述
(3)为了方便部署onnx模型,可将TrT中bin文件夹下可执行文件trtexec.exe文件拷贝到lib文件夹下。这样直接编辑bat脚本即可完成模型的部署
在这里插入图片描述

4. 验证CUDA安装成功

Windows终端输入指令,验证CUDA配置版本,完成安装

 nvcc -V

在这里插入图片描述

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值