TensorRTX部署yolov5

最新推荐文章于 2024-04-23 12:28:42 发布

我是一个对称矩阵

最新推荐文章于 2024-04-23 12:28:42 发布

阅读量681

点赞数 5

分类专栏：小目标检测文章标签： YOLO

本文链接：https://blog.csdn.net/qq_40243750/article/details/135449989

版权

本文介绍了如何从命令行选择YOLOv5子模型，生成权重文件，构建TensorRT版本的YOLOv5，进行目标检测、分类和实例分割任务，以及进行INT8量化校准的过程。

摘要由CSDN通过智能技术生成

Config

Choose the YOLOv5 sub-model n/s/m/l/x/n6/s6/m6/l6/x6 from command line arguments.
Other configs please check src/config.h

Build and Run

Detection

generate .wts from pytorch with .pt, or download .wts from model zoo

git clone -b v7.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v7.0 https://github.com/wang-xinyu/tensorrtx.git
cd yolov5/
wget https://github.com/ultralytics/yolov5/releases/download/v7.0/yolov5s.pt
cp [PATH-TO-TENSORRTX]/yolov5/gen_wts.py .
python gen_wts.py -w yolov5s.pt -o yolov5s.wts
# A file 'yolov5s.wts' will be generated.

build tensorrtx/yolov5 and run

cd [PATH-TO-TENSORRTX]/yolov5/
# Update kNumClass in src/config.h if your model is trained on custom dataset
mkdir build
cd build
cp

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我是一个对称矩阵

关注关注

5
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

tensorrtx-yolov5-v5.0.tar.gz

02-22

tensorrtx-yolov5-v5.0.tar.gz

TENSORRTX-YOLOV5-V3.0

06-04

【TENSORRTX-YOLOV5-V3.0】是一个基于NVIDIA TensorRT的优化实现，用于高效地运行YOLOv5v3.0深度学习模型。TensorRT是一个高性能的深度学习推理（Inference）优化器和运行时，它可以为深度学习应用提供低延迟、高...

参与评论您还未登录，请先登录后发表或查看评论

tensorrtx部署yolov5 6.0

qq_30150579的博客

08-29

629

tensorrtx部署yolov5 6.0

TensorRTx

W1995S的博客

08-22

2017

TensorRTx https://github.com/wang-xinyu/tensorrtx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。正如我们所知，tensorrt有内置的解析器，包括caffeparser、uffparser、onnxparser等。但是当我们使用这些解析器时，我们经常会遇到一些“不支持的操作或层”问题，特别是一些最先进的模型正在使用新类型的层。那么我们为什么不跳过所有的解析器呢？我们只是使用TensorRT网络定义API来构建整个网络，它

ARM NX上使用TensorRT进行YOLOV5部署（包括tensorRT_PRO库环境配置+yolov5+推理部署）

weixin_50341082的博客

04-23

1660

文章介绍如何在ARM架构下对YOLOV5进行TensorRT加速部署

yolov5 tensorrt

jacke121的专栏

10-23

4565

参照： https://github.com/hlld/tensorrt-yolov5 yololayer.h 修改自己类别个数： static constexpr int CLASS_NUM = 1; 下面是阈值参数，nms阈值参数： #define USE_FP16 // comment out this if want to use FP32 #define DEVICE 0 // GPU id #define NMS_THRESH 0.4 #d...

【AI】在NVIDIA Jetson Orin Nano上使用tensorrtx部署yolov5-v7.0

郭老二

07-10

1885

将yolov5部署到OrinNano中，并使用TensorRT加速

【AI】在NVIDIA Jetson Orin Nano上使用tensorrtx部署yolov8

郭老二

07-10

3312

在OrinNano上部署yolov8，并使用tensorrtx来硬件加速

使用Tensorrtx加速yolov5

qq_43389847的博客

03-14

665

使用Tensorrtx加速yolov5

【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）

m0_51246196的博客

02-24

3686

【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）

tensorrtx:使用TensorRT网络定义API实施流行的深度学习网络

05-11

TensorRTx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。众所周知，tensorrt内置了解析器，包括caffeparser，uffparser，onnxparser等。但是，当使用这些解析器时，我们经常会遇到一些“不受支持的操作或层”问题，尤其是某些正在使用的最新模型新类型的图层。那么，为什么不跳过所有解析器呢？我们只使用TensorRT网络定义API来构建整个网络，这并不复杂。我写这个项目是为了熟悉tensorrt API，并与社区分享和学习。所有模型首先在pytorch / mxnet / tensorflown中实现，然后导出权重文件xxx.wts，然后使用tensorrt加载权重，定义网络并进行推断。在我的可以找到一些pytorch实现，其余的则来自多源开源实现。消息 26 Apr 2021 。添加Inceptio

tensorrtx-yolov5--成功编译的CMakeLists.zip

08-30

tensorrtx-yolov5--成功编译的CMakeLists

ubuntu18.04 CUDA10.0 Tensorrtx yolov5部署

qq_41263444的博客

08-24

2833

由于项目需要使用Jetson nano开发板，所以想在自己电脑上安装ubuntu18.04并部署TensorRT加速的yolov5，这样一来所有的调试都可以在本地做好，不然的话板子性能较低，跑什么都慢，浪费时间。一、选择兼容的版本在开始之前，最最重要的就是版本的选择，想在ubuntu上让TensorRT的yolov5跑起来，中间涉及到非常多的版本选择，一旦不配套，就会直接面临重装，相当麻烦。 >首先列出需要作出版本选择的条目，以及我成功时使用的版本 ubuntu kernel

踩坑到怀疑人生：win10下tensorRT加速YOLOV5

qq_49627063的博客

06-09

3809

下载安装包 1.Goto：tensorRT官网 2.点击Donw Load 注：首先 nvcc --version查看cuda版本我的是10.0，所以我对应下载tensorRT 7.0版本配置环境变量 1.解压得到的TensorRT-7.0.0.11的文件夹，将里面的lib文件添加绝对路径到换将变量中 2.将tensorRT解压位置lib下的dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin ..

【CV学习笔记】tensorrtx-yolov5 逐行代码解析

Rex大居

09-23

915

Flexible很容易修改模型的任意一层，删除、增加、替换等操作。Debuggable可以容易获得模型中间某一层的结果可以对模型结构有进一步的了解尽管onnx2trt的方式目前已经在绝大部分情况下都不会出现问题，但在trtx下，我们能够掌握更底层的原理和代码，有利于我们对模型的部署以及优化。下文将会以yolov5s在trtx框架下的例子，来逐行解析是trtx是如何工作的。TensorRTx项目链接:https://github.com/wang-xinyu/tensorrtx。

tensorRT量化yolov5模型

septoct的博客

04-08

1195

tensorRT加速yolov5 1.下载两个项目 git clone https://github.com/wang-xinyu/tensorrtx.git git clone https://github.com/ultralytics/yolov5.git 2.pt转wts,wts转engine cd yolov5 sh weights/download_weights.sh copy tensorrtx/yolov5/gen_wts.py into ultralytics/yolov5 cd ul

windows平台使用tensorRT部署yolov5详细介绍，整个流程思路以及细节。

qq_39333636的博客

01-31

3279

自己在网上摸索了很久的基于windows平台的tensorRT部署的问题，终于跑通了，我在找资料的过程中没有找到从思路和细节上都具备的文档，我个人觉得思路最重要，我是很多份拼凑出的思路，顺着思路（有时候会错）一点一点解决问题才得出的结果，所有我打算写这份文档，更加侧重整体逻辑思路，技术细节我理解只要解决思路正确，肯定很多人踩过坑，找一找肯定有的，当然我也会提到。

tensorrtx：yolov3、v4、v5转tensorrt部署

chenyuming的博客

03-26

616

非常感谢https://github.com/wang-xinyu/tensorrtx作者无私贡献。环境 Ubuntu18.04 cuda10.2、cudnn8.x.x tensorrt-7.x.x.x opencv >= 3.3 支持 Jetson TX2 yolov4: https://github.com/wang-xinyu/tensorrtx/tree/master/yolov4 yolov5 https://github.com/wang-xinyu/tensorrtx/tree/m

TensorRTx-YOLOv5工程解读（一）

ChunjieShan的博客

09-26

3301

TensorRTx工程解读——YoloV5（一）权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars

tensorrtx部署yolov8

最新发布

12-27

### 如何使用 TensorRT 部署 YOLOv8 模型 #### 准备工作为了能够顺利部署YOLOv8模型到TensorRT，需先完成一系列准备工作。这包括但不限于安装必要的开发工具和库文件。对于Windows平台而言，确保已安装Visual Studio 2017、CUDA 11.1以及cuDNN 8.0.5等组件[^3]。 #### 安装TensorRT 接着要安装TensorRT来支持后续操作。考虑到兼容性和性能优化的需求，在此推荐按照官方指南进行安装，并确认所选版本能良好适配现有的CUDA与cuDNN配置[^2]。 #### 转换ONNX格式由于YOLOv8原生并不直接提供对TensorRT的支持，通常做法是先将PyTorch训练得到的.pth权重文件转换成通用中间表示形式——ONNX（Open Neural Network Exchange）。这一过程可以通过调用`torch.onnx.export()`函数实现： ```python import torch from yolov8 import YOLOv8Model model = YOLOv8Model() dummy_input = torch.randn(1, 3, 640, 640) torch.onnx.export(model, dummy_input, "yolov8.onnx", opset_version=11) ``` 上述代码片段展示了如何导出一个名为`yolov8.onnx`的文件，其中包含了经过预处理后的输入张量形状信息及对应的输出结构定义[^1]。 #### 构建并加载TensorRT引擎一旦拥有了`.onnx`文件之后，则可通过Python API创建TRTEngine对象实例化具体的推理流程。下面给出了一段简单的构建逻辑作为参考： ```cpp #include <NvInfer.h> // ...其他头文件省略... int main() { // 创建Builder和NetworkDefinition... nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(gLogger); nvinfer1::INetworkDefinition* network = builder->createNetworkV2(0U); // 加载ONNX模型至network中... onnxParser::IParser* parser = onnxParser::createParser(network, gLogger); std::ifstream file("yolov8.onnx", std::ios::binary | std::ios::ate); size_t fileSize = (size_t)file.tellg(); char *buffer = new char[fileSize]; file.seekg(0); file.read(buffer, fileSize); file.close(); bool success = parser->parseFromBuffer((void*)buffer, fileSize); delete[] buffer; parser->destroy(); // 设置INT8量化参数和其他选项... builder->setMaxBatchSize(batch_size); builderConfig->setMaxWorkspaceSize(workspace_size_in_bytes); ICudaEngine* engine = builder->buildEngineWithConfig(*network, *builderConfig); // 序列化engine保存为plan文件以便日后重复利用 IHostMemory* modelStream{nullptr}; assert(engine != nullptr); modelStream = engine->serialize(); std::ofstream p("yolov8.trt"); if (!modelStream || modelStream->size() <= 0) {return false;} p.write(reinterpret_cast<const char*>(modelStream->data()), modelStream->size()); } ``` 这段C++程序负责读取之前准备好的`.onnx`描述符，解析其内部节点关系图谱，最终产出可供实际执行的任务序列即所谓的“计划书”。值得注意的是，这里还涉及到了最大批处理尺寸(`batch_size`)设定等问题，这些都需要依据具体应用场景灵活调整。