CUDA安装&cuDNN、TensorRT版本匹配

模型部署推理时,涉及Trt与CUDA版本匹配的问题,本文记录一下如何查询匹配的CUDA,cuDNN和TensorRT版本,并配置安装。

先说版本结论:
40系卡推荐版本:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2

具体可按下述步骤查看支持与匹配的版本:

一、 确定适合的版本

1. 查询显卡型号和计算能力

(1)Win + R,运行中输入dxdiag,弹出页面中查看显卡型号为:RTX 4060 Laptop
在这里插入图片描述

(2)打开如下网址:查看显卡对应的计算能力,本机RTX 4060 Laptop的计算能力为8.9

CUDA GPUs - Compute Capability | NVIDIA Developer

在这里插入图片描述

2. TensorRT查看支持计算能力的TensorRT版本和适配CUDA版本和cuDNN版本

(1)打开TensorRT官网说明文档,查看各版本支持的计算能力。
https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#trt_8

在这里插入图片描述

(2)查看各版本支持的计算能力平台,支持8.9算力的最低TensorRT版本为8.5.1,版本选择一般选当前大版本下最新的小版本,此处选择TensorRT-8.5.3.1。根据脚注23说明,匹配的CUDA版本最低为CUDA-11.8

在这里插入图片描述

(3) 支持平台显示匹配的cuDNN版本为cuDNN 8.6.0

在这里插入图片描述

至此确定版本为:CUDA-11.8,cuDNN-8.6.0,TensorRT-8.5.3.1
30系卡推荐版本:CUDA-11.1,cuDNN-8.2.1,TensorRT-8.2.4.2

二、Windows下安装

1. CUDA安装

(1)以下网址查看CUDA历史版本,下载指定的版本
https://developer.nvidia.com/cuda-toolkit-archive
在这里插入图片描述
在这里插入图片描述
(2)下载完成后,双击按步骤进行即可。
nvidia-smi查看当前显卡驱动最高支持的CUDA版本。如图,本机驱动版本为528.52,最高支持CUDA版本12.0

在这里插入图片描述

驱动支持选定的CUDA版本时,若不想切换显卡驱动,可选择自定义安装,取消勾选Driver components。
在这里插入图片描述

(3)安装多版本的CUDA可将系统变量和Path中要生效版本的环境变量移到上面

在这里插入图片描述
在这里插入图片描述

2. cuDNN安装

(1)以下网址查看cuDNN历史版本,选定对应的版本
https://developer.nvidia.com/cudnn-archive

在这里插入图片描述
(2)下载完成后,将压缩包中文件拷贝到CUDA安装的路径下即可。
在这里插入图片描述

3. TensorRT安装

(1)以下网址查看TensorRT历史版本,选择对应的版本下载
https://developer.nvidia.com/tensorrt/download
在这里插入图片描述
(2)将安装包解压到要放置的路径下,配置TensorRT的lib路径到环境变量Path中,生效版本以在上的版本为主:
在这里插入图片描述
(3)为了方便部署onnx模型,可将TrT中bin文件夹下可执行文件trtexec.exe文件拷贝到lib文件夹下。这样直接编辑bat脚本即可完成模型的部署
在这里插入图片描述

4. 验证CUDA安装成功

Windows终端输入指令,验证CUDA配置版本,完成安装

 nvcc -V

在这里插入图片描述

  • 23
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
安装Jetson上的cuDNN时,可以参考以下步骤: 1. 首先,需要将虚拟机系统里的cuDNN安装包拷贝到Jetson设备上。你可以在Ubuntu18.04的Downloads/Nvdias/jetpack/jetpack_download目录中找到这个安装包。 2. 接下来,连接键盘、鼠标和显示器到Jetson设备上,并配置好系统。 3. 然后,从Internet安装与Jetson L4T版本对应的最新JetPack组件。可以通过运行以下命令来添加JetPack组件的源: ``` cat /etc/nv_tegra_release sudo bash -c 'echo "deb https://repo.download.nvidia.com/jetson/common r34.1 main" >> /etc/apt/sources.list.d/nvidia-l4t-apt-source.list' sudo bash -c 'echo "deb https://repo.download.nvidia.com/jetson/t234 r34.1 main" >> /etc/apt/sources.list.d/nvidia-l4t-apt-source.list' ``` 4. 安装JetPack期间,请注意一些事项,例如确认安装时的硬件连接、网络连接等都是正常的。 总结来说,JetPack是由Nvidia为Jetson系列开发板开发的一个软件开发包。它包括了常用的开发工具,并在安装JetPack时会自动安装匹配版本CUDAcuDNNTensorRT等组件,极大地方便了开发者。所以在安装Jetson上的cuDNN时,可以通过安装JetPack来自动安装并配置cuDNN。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [jetson nx安装cuda+cudnn+tensorflow-gpu](https://blog.csdn.net/weixin_42049492/article/details/121685479)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [「解析」Jetson Orin NX 安装 CUDA/cuDNN](https://blog.csdn.net/ViatorSun/article/details/129909317)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值