为什么要出这篇文章呢,本来是想把pt文件输出为onnx,然后转化为tensorRT所需的engine文件进行优化加速,折腾了半天发现多此一举了。。。。。。。。(ctm....)
yolov5_master版本自带的export。py文件自带调用onnx的接口的功能,也自带调用tensorrt转化的功能,只需要设定相应的pt文件路径,以及输出文件的存储路径即可。
可以下载这次要用到的安装包,边下边看
链接:https://pan.baidu.com/s/1meH7Wtm66aMz7R2cmBoUQg?pwd=1234
提取码:1234
--来自百度网盘超级会员V7的分享
重要的事情说三遍
环境要匹配
环境要匹配
环境要匹配
本人所使用的开发环境是Windows11
CUDA版本 11.6 (所使用的python版本是3.8 ,对应的pytorch版本是1.13 cu116)
cudaNN也是最新的对应版本
一.安装cudNN
cuDNN下载地址(最好挂个梯子)
cuDNN 9.0.0 Downloads | NVIDIA Developer
点击Archive 可以下载以往的版本,最新的cuDNN无法适配pytoch113版本
选择下面这个 cuDNN8.0X
进去之后选择forCUDA11.x的最新版就好
下载完毕打开CUDA安装的目录(菜单的程序以及应用可以搜到说明电脑里已经装了CUDA,如果没有则需要先安装CUDA)
如果安装CUDA时候点击的是精简自动安装则默认安装在
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
打开下载的cuDNN文件
将以上文件直接复制到v11.6下(会自动合并,不会弹出是否要替换之类)
安装好后运行v11.6下的bandwidth.exe(用cmd 命令行运行)
看到下面的结果result下面有了PASS即可说明安装成功。
二.安装tensorRT
题主在用pip安装时遇到了错误在这里分享下手动安装的方式
tensorrt的安装包下载地址(挂梯子)
NVIDIA TensorRT 8.x Download | NVIDIA Developer
需要先勾选同意协议,第一次登陆需要先注册一下
选择上面的这个版本下载,接下来操作按照下面这位博主的即可,只不过需要将指令换成自己对应的文件名
三.进行模型转化
打开yolov5-master的export.py文件
设置好pt文件的路径,调整好图片接口的大小 prompt运行下面这个就可以
python export.py --include engine ###tensorrt的格式
稍等一段时间
文件会直接输出到pt所在的文件夹
题主接下来要进行模型前处理的优化以及推理过程的并行加速工作,以及后处理的优化加速
最终将在AGX-Orin上实现整个工程
如果关注以及浏览量足够多,就出完整的教程包含训练-调参-优化-加速-部署的完整教程,以及工程文件。