Yolo V5 转tensorrt

已于 2023-01-12 19:08:00 修改
阅读量6.6k 收藏 49
点赞数 6
文章标签： 深度学习 神经网络 pytorch
于 2022-01-25 18:20:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gedidiao/article/details/122689564
版权

一、 在转tensorrt之前，请先确认你下载的yolo v5的版本及对应权重：

这个一定要注意，因为有的童鞋上来就转，如果成功了，那还好，成功不了，首先就要想到这个问题，就是yolo v5版本不对，导致转tensorrt不成功。自己可用这个版本的模型训练1个epoch，然后再转一下。如果转成功了，再去大规模的训练。

在官方地址：

https://github.com/ultralytics/yolov5

中有个master下有个Tags，选择v6.0版本

 2. 点击v6.0后下面给出这个版本的代码以及权重，去下面找它的权重

 

 点击里面yolo v5s 或者yolo v5l 后进入新的页面，在下面有个assets中选择对应的版本，下载即可。这是它是按照对应版本进行下载的。就是v6.0版本的yolo v5代码对应着它的权重。因为不同代码对里面的网络或者其他有改动。所以权重也有所改变。切记！！！！！

 二、下载完权重后，即可按照代码进行转换（代码来源在下方已标明）：

1. 我们需要两个github仓库，一个是yolov5的官方仓库，一个是tensorrtx的仓库
我们只需要利用前者生成一个wts的权重文件，然后就可以利用这个权重文件在tensorrtx里来进行模型的转换和推断了

git clone https://github.com/wang-xinyu/tensorrtx.git
git clone https://github.com/ultralytics/yolov5.git
# download its weights 'yolov5s.pt' 
# 这边要注意的是，在yolov5仓库中，在weights内要执行sh文件时，需要修改里面的路径，不然会找不到utlis文件，
# 或者你也可以把sh文件移出上一层文件夹中，再执行，就不会有路径问题了。
# copy tensorrtx/yolov5/gen_wts.py into ultralytics/yolov5
# ensure the file name is yolov5s.pt and yolov5s.wts in gen_wts.py
# go to ultralytics/yolov5
python gen_wts.py
# a file 'yolov5s.wts' will be generated.

2. 将生成的wts文件copy到tensorrtx/yolov5下，

3. 需要修改tensorrtx/yolov5下cmakefile.txt文件，因为cmakefile的文件指向的动态链接库和头文件都是系统环境下的，如果你用tar安装tensorRT，你的那几个文件和库都是在你自己的环境下，需要修改cmakefile中指向的路径（如果你跑tensorrtx的其他模型，也是需要修改那个模型下的cmakefile.txt文件）
##################################

然后按照说明的改cmakelist.txt文件就行。改动如下：
将下面两行注释掉，这两个指向的是系统环境下tensorrt的那几个头文件的位置。

# tensorrt
include_directories(/usr/include/x86_64-linux-gnu/)
link_directories(/usr/lib/x86_64-linux-gnu/)

然后添加如下两行

include_directories(/home/xxxx/TensorRT-6.0.1.5/include/)
link_directories(/home/xxxx/TensorRT-6.0.1.5/targets/x86_64-linux-gnu/lib/)
#TensorRT-6.0.1.5是我解压后的文件夹名称

里面的/home/xxxx/TensorRT-6.0.1.5修改为你的tensorrt的版本的地址路径！！！！！！

（tensorrt的下载地址（需要注册一下）：NVIDIA TensorRT | NVIDIA Developer）

这个代码来源是

部署tensorRT时，解决可能出现的问题。_Activewaste-CSDN博客

3. 执行下面的代码进行编译：

# put yolov5s.wts into tensorrtx/yolov5
# go to tensorrtx/yolov5
# ensure the macro NET in yolov5.cpp is s  这个s不s，应该根据你一开始生成的wts权重文件是哪个版本决定的
mkdir build
cd build
# cmake的时候记得修改cmakefile文件的链接库路径和头文件路径
cmake ..
make
sudo ./yolov5 -s             # serialize model to plan file i.e. 'yolov5s.engine'
# 推断图片，samples下面应该放你的图片，格式没要求（jpg，其他格式博主没试过）
sudo ./yolov5 -d  ../samples # deserialize plan file and run inference, the images in samples will be processed.

需要注意的是倒数第二行的代码执行会报错：！！！！！！！！！！！！！！！

arguments not right!
./yolov5 -s [.wts] [.engine] [n/s/m/l/x/n6/s6/m6/l6/x6 or c/c6 gd gw]  // serialize model to plan file
./yolov5 -d [.engine] ../samples  // deserialize plan file and run inference
此时执行下述代码：

./yolov5 -s yolov5s.wts yolov5s.engine s

运行最后一行代码也会报上述的错误：！！！！！！！！！！！！

此时执行下述代码：

./yolov5 -d yolov5s.engine ../samples
 

4. python版本yolov5_trt.py的运行

4.1 直接执行yolov5_trt.py的时候会报错，显示不能import tensorrt as trt 以及不能from .tensort import xxx

问题检查：

（1）注意有的童鞋使用的是anaconda环境，看看是不是在自己的环境下面，这种低级错误切记！如果是在这个环境下面，执行./yolov5 -d yolov5s.engine ../samples这个代码应该是成功的！如果执行上述代码成功，还是会报错，那看下面这个验证。

（2）这是因为系统变量里面没有tensorrt，这个时候需要添加系统变量。这个时候你可以在python的交互页面对上述问题进行验证，输入import tensorrt，看看报不报错，如果报错，就看下面的内容。

知识点：

（1）如果你对vim不了解，可以先去百度一下，就是一个类似于编辑器的命令，可以在Ubuntu打开任意文档或者程序（比如 vim a.txt, vim b.py等等），点击键盘上的I键进行编辑，但是保存的时候，需要先按一下esc，然后输入:wq进行保存。如果感觉输错了。运行:q即可，这时候不会写出内容。重新编辑，有的时候需要输入:q!，进行强制关闭。自己先尝试一下，比如在桌面新建个test.txt,  使用vim进行编辑，输入mmmmmm，然后对其进行保存。

（2）切记不要上来就编辑系统文件，你不小心输入错一个东西，就可能导致环境变量错误，排查起来很麻烦。 也可以使用gedit test.txt，这个类似于打开一个文本，直接编辑就好，然后保存就行（或者按ctrl+s）即可。

问题检查（2）的解决方法

1）使用 vim ~/.bashrc（或者gedit ~/.bashrc，如果你对vim不了解，就用这个吧），把下面这行命令放到这个环境变量页的最后面，也就是在这里面再添加下面这一行，而不是将.bashrc里面的 LD_LIBRARY_PATH进行修改，注意不是修改，是添加！！！！添加完后，点击esc，然后输入:wq进行保存。

2）保存完后，使用source ~/.bashrc，对系统进行更新。这里跟重启效果是一样的。在终端的python交互页面，看看能不能import tensorrt，如果执行成功，那就没问题了。

#tensorrt
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:your trt path/TensorRT-7.2.1.6/lib

这里your trt path 就是你放置tensorrt的地址，而且TensortRT-7.2.1.6要根据你自己的版本进行修改。

特别注意一点，就是 LD_LIBRARY_PATH=$LD_LIBRARY_PATH 两个LD_LIBRARY_PATH是一样的！！！！！自己手动输入的时候很容易输错。

ImportError: libnvinfer.so.7: cannot open shared object file: No such file or directory_grapefruit的博客-CSDN博客_libnvinfer.so.7

4.2 再去执行

python yolov5_trt.py

其他m,l,x版本参考：

YOLOv5 TensorRT Benchmark for NVIDIA® Jetson™ AGX Xavier™ and NVI | Forecr.io

上述代码来源：

https://github.com/wang-xinyu/tensorrtx/issues/433

运行完显示：

上述代码的来源：

【干货】用tensorRT加速yolov5全记录，包含加速前后的数据对比_Activewaste-CSDN博客_tensorrt加速yolov5

生成tensorrt引擎错误记录-crnn_Coding-Prince的博客-CSDN博客

X1. 可参考这些文献实现其他的目的：

手把手教你使用YOLOV5训练自己的数据集并用TensorRT加速

导出：onnx系列：

YOLOv5系列（2）——YOLOv5导出jit，onnx，engine_wa1tzy的博客-CSDN博客_yolov5导出onnx

问题：

1. tensorRT加速yolov5 arguments not right!问题解决

tensorRT加速yolov5 arguments not right!问题解决_amosjy的博客-CSDN博客_arguments not right!

aimeng100
关注
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
yolov5转tensorrt模型
JulyLi2019的博客
08-20 6103
系列文章目录 文章目录系列文章目录前言一、生成.wts文件1.1 下载源码与模型1.2 生成yolov5s.wts文件二、build and run2.1 build2.2 run总结 前言 部署时，为了提高推理效率，通常不直接使用训练生成的pt模型，而是把pt模型转换成可以通过tensorrt加速推理的engin文件。 一、生成.wts文件 1.1 下载源码与模型 本文以yolov5s v5.0版本为例，给同学们做演示。 下载源码，可以使用git，当然也可以下载压缩包解压，本文使用git方法： g
【YOLOv5模型部署】——TensorRT推理引擎安装与使用&基于Flask的项目部署
最新发布
weixin_51658186的博客
09-05 1325
算法要落地到实际应用，这就叫模型部署！模型部署是将训练好的机器学习或深度学习模型集成到实际应用中，使其能够对外提供服务的过程。主要包括在线部署和离线部署两种。
Yolov5的tensorRT加速(python)
Mintary的博客
09-04 1367
Yolov5的tensorRT加速
yolov5的tensorrt加速转换
weixin_36723038的博客
04-28 692
一.前期工作 转化源码：tensorrt-yolov5 1.确定自己使用的YOLO是哪个版本 2.确定自己训练模型的类别 3.确定自己训练模型是使用的预训练模型是哪个对应的YOLOv5的那个版本 参数对应的模型网络层，要和预训练模型对应 权重文件下载路径： 不同的版本的权重文件，版本要对应 https://github.com/ultralytics/yolov5/tags 二.模型转换 1.下载对应的tensorrt转换代码和容器运行代码 https://github.com/wang-xiny
yolov5模型 转 tensorRT
MAX的专栏
06-01 863
yolov5模型转TensorRT踩坑记
基于cuda和tensorrt的yolo v5多线程部署推理工具.zip
05-03
人工智能项目
YOLO v5 pt模型转onnx和tensort
m0_59113065的博客
09-17 3983
pt模型转onnx yolov5自带转onnx python models/export.py --weights runs/exp12/weights/best.pt --img 640 --batch 1 安装onnx模型简化库onnx-simplifier pip install onnx-simplifier 简化onnx模型 python -m onnxsim best.onnx best-sim.onnx ...
YOLO-v5训练自己的数据+TensorRT推理部署
03-06
本教程将详细解释如何使用YOLO-v5训练自定义数据集以及如何利用TensorRT进行高效的推理部署。 **一、YOLO-v5训练自定义数据集** 1. **数据准备**：首先，你需要整理自己的数据集，包括标注的图像和对应的边界框...
yolov5 obb 旋转框 tensorrt 部署，win10,cuda 11,tensorrt 8,opencv4.5.5
05-21
yolov5 obb 旋转框 tensorrt推理，c++，win10，cuda11.7，tensorrt8.4。opencv4.5.5. 注意点： 1.修改包含目录和库目录。dll需要覆盖，用自己的版本，我的tensorrt8.4 opencv4.5.5 ...
深度学习项目六：TensorRT来加速YOLO v5推理与检测
m0_60890175的博客
09-03 478
TensorRT来加速YOLO v5推理与检测
yolov5训练与tensorrt模型转换
Ayu___的博客
06-20 1645
参考：https://github.com/ultralytics/yolov5 3、准备自己的数据集（VOC格式） （1）创建vehicle_dataset文件夹（名字可以自定义），目录结构如下，将之前labelImg标注好的xml文件和图片放到对应目录下 vehicle_dataset –labels #存放标注转换格式后的txt文件（后面再进行生成） –images # 存放图片 –Annotations # 存放图片对应的xml文件 –ImageSets/Main #之后会在Main文件夹内自动生
yolov5 torch转tensorrt详解【推荐】
Teng的博客
02-05 1177
def export_engine(model, im, file, half, dynamic, simplify, workspace=4, verbose=False, prefix=colorstr('TensorRT:')): # YOLOv5 TensorRT export https://developer.nvidia.com/tensorrt assert im.device.type != 'cpu', 'export running on CPU but must be
Ubuntu系统下yolov5转换tensorrt
python_Ezreal的博客
05-19 1061
yolov5转换tensorrt，转换过程不算太难，但是配环境差点要了老命，整整一个月左右才弄好，踩尽了坑。 一.cuda的安装 首先系统需要安装cuda，如果系统已经安装了cuda就跳过这一步就好了。 cuda的下载地址： https://developer.nvidia.com/cuda-toolkit-archivehttps://developer.nvidia.com/cuda-toolkit-archive 下载之前需要注册一下，填一下调查问卷。后面的安装也都是需要你有账户登录的，所以
将YOLOv8模型从PyTorch的.pt格式转换为TensorRT的.engine格式
网络资源是无限的
07-25 3362
将YOLOv8模型从PyTorch的.pt格式转换为TensorRT的.engine格式
YOLOv5转TensorRt加速部署全过程
weixin_44312422的博客
01-26 3099
本文是在jetson nano 运行yolov5转tensort加速的记录 接上文： https://blog.csdn.net/weixin_44312422/article/details/122256752?spm=1001.2014.3001.5502 （本文出现的yolov5均不指YOLOv5源码，是指tensorrtx中专属的YOLOv5加速代码,注意不要与YOLOv5源代码混淆） 1.第一步 下载对应版本yolov5的权重文件，以yolov5s为例（其实可以用yolov5n速度更快）：本步可以
干货 | YOLOV5 训练自动驾驶数据集，并转成tensorrt【左侧有码】
10-10 4072
准备数据集 环境配置 配置文件修改 训练 推理 转Tensorrt 遇到的Bugs 一、数据集准备 1，BDD数据集 让我们来看看BDD100K数据集的概览。 BDD100K是最大的开放式驾驶视频数据集之一，其中包含10万个视频和10个任务，目的是方便评估自动驾驶图像识别算法的的进展。每个高分辨率视频一共40秒。该数据集包括超过1000个小时的驾驶数据，总共超过1亿帧。这些视频带有GPU / IMU数据以获取轨迹信息。该数据集具有地理，环境和天气多样性，从而能让模型能...
yolov5模型的部署之TensorRT
m0_51100616的博客
09-24 2658
写在前面，利用TensorRT加速推理速度是以时间换取精度的做法，意味着在推理速度上升的同时将会有精度的下降，不过不用太担心，精度下降微乎其微。此外，要有NVIDIA显卡，经测试，CUDA10.2可以支持20系列显卡及以下，30系列显卡需要CUDA11.x的支持，并且目前有bug。 默认你已经完成了yolov5的训练过程并得到了.pt模型权值文件。 本文目的仅是带着走通流程。 注意要对应yolov5和tensorrtx的版本。 我的运行环境(注意OpenCV要选择适合你的visual st.
【TensorRT】yolov5的pytorch模型转tensorrt模型（自己的数据集与模型）
聿默的博客
04-12 2426
代码参考： https://github.com/wang-xinyu/tensorrtx https://github.com/ultralytics/yolov5 1.环境 ubuntu16.04 python3.6 cuda10.1/cuda10.0 tensorrt7.0.0.11 2. 安装参考：https://github.com/wang-xinyu/tensorrtx/blob/master/tutorials/install.md tensorrt安装参考：https
yolo5+tensorrt加速打开摄像头
07-27
YOLO5 是目标检测的一种算法，而 TensorRT 是一种优化深度学习推理过程的工具。要使用 YOLO5 和 TensorRT 来加速打开摄像头，可以按照以下步骤进行： 首先，需要使用 OpenCV 的摄像头 API 打开摄像头。可以使用 OpenCV 的 VideoCapture 类来实现这一功能。需要注意的是，打开摄像头可能需要在代码中指定摄像头的索引或视频文件的路径。 然后，加载 YOLO5 的预训练权重模型。可以使用 YOLO5 官方提供的权重文件，或是根据自己的需要进行训练并保存模型。 接着，使用 TensorRT 将加载的 YOLO5 模型优化为 TensorRT 可以处理的引擎文件。首先，需要创建一个 TensorRT 的 builder 对象，并设置优化参数和目标硬件平台。然后，使用 builder 对象创建一个 TensorRT 的网络对象，并加载 YOLO5 的模型。最后，使用 builder 对象构建 TensorRT 的引擎，并将其保存为文件。 最后，使用 TensorRT 加速推理过程。需要打开一个线程，从摄像头读取帧，并将帧数据传递给 TensorRT 引擎进行推理。TensorRT 会对输入帧进行目标检测，并返回检测结果。可以根据业务需要对检测结果进行后续处理，例如绘制边界框或保存结果。 总之，使用 YOLO5 和 TensorRT 加速打开摄像头的过程需要先打开摄像头获取帧，然后加载 YOLO5 模型并使用 TensorRT 优化为引擎文件，最后使用 TensorRT 进行推理加速。这样可以提高目标检测的速度，并实时处理摄像头的视频流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值