yolov7导出可被trt解析的onnx

已于 2022-08-22 11:56:24 修改
阅读量1.5k 收藏 1
点赞数 2
分类专栏： 深度学习算法部署 ONNX 深度学习 文章标签： 部署 深度学习
于 2022-07-07 17:47:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangjinyi1314/article/details/125663994
版权
本文介绍了如何从Yolov7的u5分支导出ONNX模型，并强调了在master分支下导出时的注意事项，包括需要传递--grid参数。还提到onnxsim简化模型时遇到的scatternd算子问题，以及通过修改导出代码避免该问题的方法。提供了C++和Python API的TensorRT部署代码示例和相关资源链接。
摘要由CSDN通过智能技术生成

（1）注意要使用分支u5版（不需要任何修改直接导出即可）的进行onnx导出（导出后再进行simpify可以进一步消除导出onnx中存在的unsqueeze、gather、shape算子）

（2）如果使用master中的导出onnx，要获得cat三个检测层的结果，要传入--grid

而且发现onnxsim会报错。大老师已经可以成功简化，但是依然存在scatternd算子，这个算子存在就意味着要使用这个插件（虽然高版本的trt已经有了，但是依然要加载官方插件，还是很烦的！）

所以为了避免这个scatternd算子，可以修改导出代码，具体修改后面再搞。

c++部署代码如下：

GitHub - hewen0901/yolov7_trt: yolov7目标检测算法的c++ tensorrt部署代码

还有yolou、杜老的都可以、GitHub - Linaom1214/TensorRT-For-YOLO-Series: tensorrt for yolo series, nms plugin support

了解本专栏 订阅专栏 解锁全文 超级会员免费看
曙光_deeplove
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
TRT8系列—— pytorch 模型转 onnx
TigerZ*的博客
10-12 1159
详细介绍 Torch 模型如何导出 onnx ，并且提供完整的代码支持如下几个特性：动态batch、单输入、多（两）输出 。同时罗列其中的注意事项。这是后续TRT等加速的基础步骤。
yolov7 的win10 tensorrt推理 c++ 版本
01-27
tensorrtx/yolov7 at master · wang-xinyu/tensorrtx · GitHub yolov7的win10 cuda11.4.3 cudnn8.2 tensorrt8.2.1.8 推理
TRT部署ONNX
最新发布
weixin_41202078的博客
07-25 9
也算是基础知识了 就搬来了 还是要说大佬勿怪 其实应该算是 转成trt默认 使用 这样说确切不过我一般不这么用yolo直接 用王鑫宇 大佬工具转wts然后载转trt模型 大伙去git上找把 都支持到v7了 是阿拉伯联合酋长国阿布拉卡那版哦TensorRT是英伟达官方提供的一个高性能深度学习推理优化库，支持C++和Py...
ONNX转换TensorRT，并进行推理预测
Qiming的博客
07-07 290
均是由于profile输入的名称或者size与onnx模型不一致，注意是NCHW还是NHWC。如果转换为onnx，那么onnx模型的数据类型也是float32，使用opencv或者PIL读取的图片数据类型是 int8，torch模型的默认数据类型是float32,###TensorRT 预测返回nan值。是由于输入的数据类型不对。
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
weixin_45921929的博客
01-12 1724
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
YOLOv7结果分析，txt文件内容
HHHAOA的博客
03-16 3480
分别的含义是训练次数、GPU消耗、训练集边界框损失、训练集目标检测损失、训练集分类损失、训练集总损失、targets目标、输入图片大小、Precision、Recall、mAP@.5、mAP@.5:.95、验证集边界框损失、验证集目标检测损失、验证集分类损失。此txt文件是魔改后的一个训练结果，其中验证集边界框损失、验证集目标检测损失、验证集分类损失是nan，目前还在查找原因，如果有会的大佬希望指点一下。
onnx-trt
qq_41389330的博客
08-18 655
trt onnx介绍以及torch转onnx
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
在本文中，我们将深入探讨如何使用TensorRT进行PyTorch版本的YOLOv4模型的部署，通过PyTorch到ONNX的转换，以及进一步将ONNX模型优化为TensorRT执行引擎。这是一个高效的算法部署实践，对于提升目标检测速度和性能...
基于YOLOv5改进torch、trt和onnxruntime（源码）.rar
04-15
1、资源内容：添加yolov5改进detect python版trt和onnxruntime（完整源码+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的...
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
1. **导出ONNX模型**：首先，你需要训练好一个YOLOv5模型。使用PyTorch的`torch.onnx.export()`函数将训练好的模型导出为ONNX格式，确保设置正确的输入尺寸和动态形状支持。 2. **安装TensorRT**：在你的系统上安装...
yolov7 推理输出
weixin_42581846的博客
01-08 690
yolov7 是一个目标检测模型，在推理(inference)时，它会输出一些检测框(bounding boxes)和每个检测框所对应的目标类别的置信度(confidence score)。这些检测框和置信度值可以用来表示模型对于在输入图像中存在某种目标的置信程度。比如，如果一个检测框的置信度很高，那么这个检测框很可能包含的是我们感兴趣的目标。 ...
yolov7模型部署——环境搭建(python 导出onnx模型，c# OnnxRunTime-GPU版调用) 踩坑记录
qing2019的博客
11-04 1万+
yolov7模型部署(python 导出onnx模型，c# OnnxRunTime-GPU版调用) 踩坑记录
1.转onnx ，dynamic 2.转trt，batch 3.execution_context-＞setBindingDimensions(0, input_dims)；
weixin_69890276的博客
05-26 100
yolo ,trt ,多batch
Yolo系列模型使用TensorRT-C++推理学习
sansheng0208的博客
12-06 1219
回忆了很多c++的基本知识，也对齐了python用TRT推理和c++用TRT的一个流程上的异同，并且在查找很多TRT的c++ api时发现很多api弃用了或者推荐使用新的api，后续计划将该工程对应的api修改换成新版的作为一个课后补习。如有错误，请联系我修改。
YOLOv7教程系列：三、使用onnx导出成openvino模型，并调用接口进行摄像头推理预测
weixin_45921929的博客
01-12 3352
YOLOv7教程系列：三、使用onnx导出成openvino模型，并调用接口进行摄像头推理预测
4.22 构建onnx结构模型-Scatter
weixin_45063703的博客
12-30 450
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Scatter结点进行分析。
YOLOv8-pose在ncnn框架下部署过程记录（包含ncnn、pnnx安装以及模型结构更改及转换）
Rachel321的专栏
04-26 4896
YOLOv8-pose在ncnn框架下部署过程记录（包含ncnn、pnnx安装以及模型结构更改及转换）
YoloV7:训练自己得数据集详细教程
热门推荐
qianxun
07-11 1万+
美团刚刚发出yolov6，AB大神就带着yolov7来了。。。。。这速度是真快。。在 5-160 FPS 范围内速度和精度超过所有已知目标检测器。在 后不到两个星期，提出 YOLOv4 的团队就发布了更新一代的版本。本周三，YOLOv7 的论文被提交到了预印版论文平台 arXiv 上，其三位作者 Chien-Yao Wang、Alexey Bochkovskiy 和 Hong-Yuan Mark Liao 是 YOLOv4 的原班人马。相对于其他类型的工具，YOLOv7-E6 目标检测器（56 FPS V1
yolov8转trt
08-15
要将YOLOv8模型转换为TensorRT（TRT）格式，您可以按照以下步骤进行操作： 1. 安装TensorRT：确保您已经正确安装了NVIDIA TensorRT，并且已经配置了相应的CUDA和CUDNN版本。 2. 导出YOLOv8模型：使用ultralytics/yolov5库或其他工具，将YOLOv8模型导出为ONNX格式。确保您已经将模型保存为`.onnx`文件。 3. 使用TensorRT进行转换：使用TensorRT Python API加载导出的ONNX模型，并将其转换为TensorRT格式。您可以使用以下代码作为参考： ```python import tensorrt as trt TRT_LOGGER = trt.Logger(trt.Logger.WARNING) precision = 'fp16' # 可以选择 'fp32' 或 'fp16' def build_engine(onnx_file_path): explicit_batch = 1 << (int)(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) with trt.Builder(TRT_LOGGER) as builder, builder.create_network(explicit_batch) as network, trt.OnnxParser(network, TRT_LOGGER) as parser: builder.max_workspace_size = 1 << 28 # 设置最大的workspace大小 builder.fp16_mode = True if precision == 'fp16' else False # 根据指定精度设置builder的模式 with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): print('解析ONNX模型失败') for error in range(parser.num_errors): print(parser.get_error(error)) return None return builder.build_cuda_engine(network) onnx_file_path = '/path/to/yolov8.onnx' engine = build_engine(onnx_file_path) if engine is not None: trt.save_engine(engine, '/path/to/yolov8.trt') ``` 在此代码中，您需要将`onnx_file_path`替换为YOLOv8模型的ONNX文件路径，并将`'/path/to/yolov8.trt'`替换为您希望保存TensorRT模型的路径。 4. 运行TensorRT模型：一旦转换完成并保存了TensorRT模型，您就可以使用TensorRT执行推理。您可以使用TensorRT Python API或使用C++进行推理。 这是一个基本的转换YOLOv8模型为TensorRT的步骤。请注意，具体的实施细节可能因YOLOv8的特定版本、TensorRT版本和使用的库而有所不同。因此，建议参考相关文档和示例代码以获取更准确的步骤和细节。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曙光_deeplove

你的鼓励是我努力的最大源泉

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值