Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境(保姆级填坑版)
前言
cuda: Compute Unified Device Architecture,是一种有NVIDIA推出的通用并行计算架构, 该架构使GPU能够解决复杂的计算问题。
cudnn: 是NVIDIA 推出的用于深度神经网络的GPU加速库,他强调性能,易用性和低内存开销。
cuda和cudnn的关系: cudnn是基于cuda架构开发的专门用于深度神经网络的GPU加速库
tensorrt是一个有助于在NVIDIA图形处理单元(GPU)上高性能推理c++库,对网络的推理过程进行了深度优化,可以实现非常高的推理速度,实乃不掉精度就能提速的上上策。
一、开始前准备工作
本人电脑是RTX2060 +win10 +vs2017+cuda11.6+cudnn-windows-x86_64-8.5.0.96_cuda11-archive+TensorRT-8.2.5.1+tensorrtx-yolov5-v6.0+opencv-4.6.0-vc14_vc15+cmake-3.24.2-windows-x86_64
1.下载visual studio 2019版本
注意:下载后先安装visual studio 以免后面cuda安装检测不到vs
2.cuda 和 cudnn
查看自己电脑显卡对应的支持cuda版本
win+R打开cmd,输入nvidia-smi,即可看到支持的cuda版本是11.7
可以向下兼容,例如我下载的是cuda11.6版本
注意,以下两个版本的对应关系(cuda和cudnn)
3.下载tensorrt
4.下载tensorrtx
大佬开源
5.下载opencv
6.下载cmakelist
二、安装
1.安装vs2019
默认安装位置,注意:先安装vs,,后再安装cuda,cuda安装时才能检测到vs
2.安装cuda/cudnn
1)安装cuda
安装包直接默认安装即可,注意:安装完成后需要检测一下系统变量是否正常添加,若没有,则必须手动添加。
(我的电脑,右击属性,下拉找到高级系统设置,点击环境变量即可打开下图所示界面。)
若默认安装时出现安装失败,则选择自定义安装,取消以下两个安装选项
2)安装cudnn
Cudnn 安装直接解压即可,解压后将cudnn目录下的bin,include,lib中的文件分别复制粘贴到路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6文件夹下相对应的目录
3)cuda安装测试
打开cmd运行以下指令,
nvcc -V
3.安装opencv
将下载的安装包直接安装,注意:安装后添加如下环境变量
4.安装cmakelist
直接安装下载软件包,出现下图界面时,点击如下选项
5.安装tensorrt
1)安装
文件解压后,
跟cudnn一样,将include下的文件复制到cuda的include文件内
lib下的dll文件复制到cuda 的bin文件夹内
lib下的lib文件复制到cuda 的lib/x64文件夹内
2)测试
进入到TensorRT-8.2.5.1\samples\sampleMNIST文件夹内,vs2019打开sample_mnist.sln文件
然后依次点击 项目—>属性—>VC++目录
将路径D:\yolov5\TensorRT-8.2.5.1\lib分别加入可执行文件目录及库目录里
将D:\yolov5\TensorRT-8.2.5.1\lib\include加入C/C++ —> 常规 —> 附加包含目录
将nvinfer.lib、nvinfer_plugin.lib、nvonnxparser.lib和nvparsers.lib加入链接器–>输入–>附加依赖项
将C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib加入链接器->常规->附加库目录
配置好相关包含目录和附加库等选项后,点击生成解决方案,生成后点击运行,出现下图所示即表示测试成功。
注意:点击运行时若出现缺少相关dll链接库函数的报错,按照提示下载对应名称的dll,并放置到对应路径后即可运行成功。
到此软件的下载以及安装配置基本完成。