【ONNX】yolov5 onnx修改

最新推荐文章于 2024-08-23 02:39:12 发布
最新推荐文章于 2024-08-23 02:39:12 发布
阅读量2.1k 收藏 28
点赞数 3
文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30340349/article/details/129813436
版权

什么是ONNX

  • ONNX(Open Neural Network Exchange)简称ONNX
  • 微软和FaceBook提出用来表示深度学习模型的开放格式。
  • ONNX定义了一组和环境、平台无关的标准格式，来增强各种AI模型的可交互性。
  • ONNX存储权重，模型的结构、每一层的输入输出、辅助信息。

ProtoBuf简介

  • ProtoBuf 是一种轻便高效的结构化数据存储格式，可用于结构数据的序列化。
  • 可用作通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

pytorch 生成 onnx

模型定义

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.onnx
import os

class Model(torch.nn.Module):
    def __init__(self):
        super().__init__()

        self.conv = nn.Conv2d(1, 1, 3, padding=1)
        self.relu = nn.ReLU()
        self.conv.weight.data.fill_(1)
        self.conv.bias.data.fill_(0)
    
    def forward(self, x):
        x = self.conv(x)
        x = self.relu(x)
        return x

onnx导出

odel = Model()
dummy = torch.zeros(1, 1, 3, 3)
torch.onnx.export(
    model,
    # 这里的args，是指输入给model的参数，需要传递tuple，因此用括号
    (dummy,), 

    # 储存的文件路径
    "demo.onnx", 

    # 打印详细信息
    verbose=False, 

    # 为输入和输出节点指定名称，方便后面查看或者操作
    input_names=["image"], 
    output_names=["output"], 

    # 这里的opset，指，各类算子以何种方式导出，对应于symbolic_opset11
    opset_version=11, 

    # 表示他有batch、height、width3个维度是动态的，在onnx中给其赋值为-1
    # 通常，我们只设置batch为动态，其他的避免动态
    dynamic_axes={
        "image": {0: "batch", 2: "height", 3: "width"},
        "output": {0: "batch", 2: "height", 3: "width"},
    }
)

正确导出ONNX

  • 对于任何用到shape、size返回值的参数时，例如：
tensor.view(tensor.size(0), -1)        # ×
tensor.view(int(tensor.size(0)), -1)   # √

这类操作，避免直接使用 tensor.size 的返回值，而是加上int转换。断开跟踪。

  • 对于nn.Upsample或nn.functional.interpolate函数，使用scale_factor指定倍率，而不使用size参数指定大小
  • 对于reshape、view操作时，-1的指定放在batch维度。其他维度可以计算出来即可。batch维度禁止指定大于-1的数字
  • torch.onnx.export指定dynamic_axes参数，只指定batch维度，尽量不用其他动态
  • opset_version = 11, 不要低于11
  • 避免使用inplace操作， 例如： y[…,0:2] = y[…,0:2] * 2 - 0.5 不要使用批量复制
  • 尽量少的出现5个维度，例如ShuffleNet Module 可以考虑合并wh避免出现5维度
  • 尽量让后处理部分在onnx模型中实现，降低后处理复杂度。比如 anchor
  • 简化过程的复杂度，去掉gather、shape的不必要节点。

ONNX 解析器

ONNX格式分析

  • ModelProto: 包含了一些版本、生产者、一个GraphProto
  • GraphProto: 包含四个repeated数组，分别是：
    • node: NodeProto类型, 存放模型中所有的计算节点。
    • input: ValueInfoProto类型, 存放模型的所有输入节点。
    • output: valueInfoProto，存放模型的所有输出节点。
    • initializer: 存放了模型的所有权重参数。
  • AttributeProto: 描述节点的属性，比如Conv节点或者卷积层的属性包含group,pad

onnx.helper

  • ONNX 是把一个网络的每一层或者一个算子当成节点node。
  • 将node 构成一个Graph
    在构建ONNX模型的时候，可以使用make_node，make_graph, make_tensor等等接口完成一个ONNX模型的构建。

yolov5 ONNX修改

1. 输入输出的宽高为动态宽高，希望修改为固定宽高，只有BatchSize是动态维度

在这里插入图片描述

修改方式：

# export.py
torch.onnx.export(model, im, f, verbose=False, opset_version=opset,
                  training=torch.onnx.TrainingMode.TRAINING if train else torch.onnx.TrainingMode.EVAL,
                  do_constant_folding=not train,
                  input_names=['images'],
                  output_names=['output'],
                  #dynamic_axes={'images': {0: 'batch', 2: 'height', 3: 'width'},  # shape(1,3,640,640)
                                #'output': {0: 'batch', 1: 'anchors'}  # shape(1,25200,85)
                                #} if dynamic else None)
                dynamic_axes={'images': {0: 'batch'},  # shape(1,3,640,640)
               'output': {0: 'batch'}  # shape(1,25200,85)
               } if dynamic else None)
  • 删除 除了 batch之外的动态维度
    修改后的效果：
    在这里插入图片描述

2. 修改输出

从上面可以看出，输出仍然包括三项我们推理不需要的内容。
在这里插入图片描述

主要是因为在yolo的forward定义中的输出：

return x if self.training else (torch.cat(z, 1), x)

这里的

# yolov5-6.0/models/yolo.py
    def forward(self, x):
        z = []  # inference output
        for i in range(self.nl):
            x[i] = self.m[i](x[i])  # conv
            bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
            x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()

            if not self.training:  # inference
                if self.grid[i].shape[2:4] != x[i].shape[2:4] or self.onnx_dynamic:
                    self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)
				
				# 多余的三个sigmoid输出主要来自此处
                y = x[i].sigmoid()
                if self.inplace:
                    y[..., 0:2] = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                else:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
                    xy = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                    y = torch.cat((xy, wh, y[..., 4:]), -1)
                z.append(y.view(bs, -1, self.no))

			# 此处的 (torch.cat(z, 1), x) x并不是推理需要的，所以不需要保留，所以改为下面的这句
       		# return x if self.training else (torch.cat(z, 1), x)
            return x if self.training else torch.cat(z, 1)

修改后的效果：
在这里插入图片描述

3. 删除多余的unsqueeze 和 gather

  • 多余的unsqueeze 和 gather 很多是由于动态引用了 shape 属性。
            bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)

修改为：

bs, _, ny, nx = map(int, x[i].shape)  # x(bs,255,20,20) to x(bs,3,20,20,85)

修改前：
在这里插入图片描述
修改后：
在这里插入图片描述

4. Reshape 动态维度调整

reshape 的动态维度期望是： [-1, 1, 85]
在这里插入图片描述

  • 由于原来并没有动态计算batch,而是动态计算最后候选框的数量。
  • 这里我们改为动态计算batch, 手动计算候选框的数量
 def forward(self, x):
        z = []  # inference output
        for i in range(self.nl):
            x[i] = self.m[i](x[i])  # conv
            bs, _, ny, nx = map(int, x[i].shape)  # x(bs,255,20,20) to x(bs,3,20,20,85)
            # 指定动态计算 batch 
            bs =-1
            x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()

            if not self.training:  # inference
                if self.grid[i].shape[2:4] != x[i].shape[2:4] or self.onnx_dynamic:
                    self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)

                y = x[i].sigmoid()
                if self.inplace:
                    y[..., 0:2] = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                else:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
                    xy = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                    y = torch.cat((xy, wh, y[..., 4:]), -1)
                # z.append(y.view(bs, -1, self.no))
                # bs 指定为 -1 后，动态指定第二个维度 手动计算候选框的数量
                z.append(y.view(bs, self.na * ny * nx, self.no))

        return x if self.training else torch.cat(z, 1)

修改后：
在这里插入图片描述

5. 将anchor 作为常量，不在网络中跟踪

在这里插入图片描述

  • 目前在最后会有很多单独的分值节点，主要来源于计算anchor的部分。
  • anchor在yolo中可以作为常量值，不必要跟踪，引入多余的节点。
  • anchor_grid = (self.anchors[i].clone() * self.stride[i]).view(1, -1, 1, 1, 2)
class Detect(nn.Module):
    stride = None  # strides computed during build
    onnx_dynamic = False  # ONNX export parameter

    def __init__(self, nc=80, anchors=(), ch=(), inplace=True):  # detection layer
        super().__init__()
        self.nc = nc  # number of classes
        self.no = nc + 5  # number of outputs per anchor
        self.nl = len(anchors)  # number of detection layers
        self.na = len(anchors[0]) // 2  # number of anchors
        self.grid = [torch.zeros(1)] * self.nl  # init grid
        self.anchor_grid = [torch.zeros(1)] * self.nl  # init anchor grid
        self.register_buffer('anchors', torch.tensor(anchors).float().view(self.nl, -1, 2))  # shape(nl,na,2)
        self.m = nn.ModuleList(nn.Conv2d(x, self.no * self.na, 1) for x in ch)  # output conv
        self.inplace = inplace  # use in-place ops (e.g. slice assignment)
        # 记录 anchors
        self.anchors = anchors

    def forward(self, x):
        z = []  # inference output
        for i in range(self.nl):
            x[i] = self.m[i](x[i])  # conv
            bs, _, ny, nx = map(int, x[i].shape)  # x(bs,255,20,20) to x(bs,3,20,20,85)
            bs =-1
            x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()

            if not self.training:  # inference
                if self.grid[i].shape[2:4] != x[i].shape[2:4] or self.onnx_dynamic:
                    self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)
                # 预先生成anchor
                anchor_grid = (self.anchors[i].clone() * self.stride[i]).view(1, -1, 1, 1, 2)
                y = x[i].sigmoid()
                if self.inplace:
                    y[..., 0:2] = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    # 替换为生成的 anchor_grid
                    # y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                    y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * anchor_grid  # wh
                else:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
                    xy = (y[..., 0:2] * 2. - 0.5 + self.grid[i]) * self.stride[i]  # xy
                    # wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                    # 替换为生成的 anchor_grid
                    wh = (y[..., 2:4] * 2) ** 2 * anchor_grid  # wh
                    y = torch.cat((xy, wh, y[..., 4:]), -1)
                # z.append(y.view(bs, -1, self.no))
                # bs 指定为 -1 后，动态指定第二个维度
                z.append(y.view(bs, self.na * ny * nx, self.no))

        return x if self.training else torch.cat(z, 1)
        # return x if self.training else (torch.cat(z, 1), x)

    def _make_grid(self, nx=20, ny=20, i=0):
        d = self.anchors[i].device
        yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)])
        grid = torch.stack((xv, yv), 2).expand((1, self.na, ny, nx, 2)).float()
        anchor_grid = (self.anchors[i].clone() * self.stride[i]) \
            .view((1, self.na, 1, 1, 2)).expand((1, self.na, ny, nx, 2)).float()
        return grid, anchor_grid

修改后

在这里插入图片描述

6. 多余的Identity

  • 多余的Identity 这个多余的Identity 可能导致转TensorRT失败

在这里插入图片描述

  • 这个主要是由于生成的anchor_grid.
  • 我们可以使用 onnx-simplify 删除
 if simplify:
            try:
                check_requirements(('onnx-simplifier',))
                import onnxsim

                print(f'{prefix} simplifying with onnx-simplifier {onnxsim.__version__}...')
                model_onnx, check = onnxsim.simplify(
                    model_onnx,
                    dynamic_input_shape=dynamic,
                    input_shapes={'images': list(im.shape)} if dynamic else None)
                assert check, 'assert check failed'
                onnx.save(model_onnx, f)
            except Exception as e:
                print(f'{prefix} simplifier failure: {e}')
        print(f'{prefix} export success, saved as {f} ({file_size(f):.1f} MB)')
        print(f"{prefix} run --dynamic ONNX model inference with: 'python detect.py --weights {f}'")

删除后
在这里插入图片描述

直接使用onnx-simplfy 会多出三个输出的节点。在实际使用中，可有先simpfy 一遍，然后再调整也是不错的选择。

Dovake
关注
  • 3
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
yolov5训练以及模型onnx转换
10-13
目标检测工程备份
基于YOLOv5和onnxruntime C++实现目标检测（源码+说明文档）.rar
04-15
1、资源内容：基于yolov5检测onnxruntime c++（完整源码+说明文档+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程...
Yolov5——使用export.py把pt格式模型输出为onnx模型
最新发布
myhfory的博客
08-23 1170
需要Python>=3.8.0，并且含有PyTorch>=1.8，安装好yolov5所需要的所有依赖。
onnx-su_onnx模型修改_onnx_
09-30
这是一个onnx模型编辑工具，可以在onnx模型中添加、修改和删除node节点，也可以用于onnx模型的调试、查看权重。使用python语言实现。
Yolov5 导出ONNX
canyingfeixue的专栏
07-29 445
Dimensions=class数量+5。3、修改C# Dimensions。2、获取训练模型 anchors。1、修改export.py。
修改onnx输入输出维度
m0_49376111的博客
06-19 656
【代码】修改onnx输入输出维度。
Python —— Win10将Yolov5的.pt模型导出为.onnx模型
wx微信公众号“码农总动员”，获取更多编程知识
02-24 1862
Python —— Win10将Yolov5的.pt模型导出为.onnx模型
【yolov5】pytorch模型导出为onnx模型
热门推荐
振华OPPO的博客世界
10-21 1万+
博主想拿官网的yolov5训练好pt模型，然后转换成rknn模型，然后在瑞芯微开发板上调用模型检测。1、首先部署好yolov5的环境，保证可以运行detect.py进行检测，将自己训练好的pt模型放到weights目录下，我这里命名是best.pt。3、输入下面命令导出模型（后面的weights、img和batch参数可以不加，设置下默认参数即可）自带的预训练模型是预测80类CoCo数据集的yolov5s改进结构，下面就带大家一起转换模型！可以看到转换后的结构比较乱，有些结点其实可以跳过，减小模型。
ONNX 模型的修改与调试
ueke1的博客
04-01 932
图一般是用一个节点集和一个边集表示的。神经网络本质上是一个计算图。计算图的节点是算子，边是参与运算的张量。可视化 ONNX 模型， 能看到所有算子节点的属性信息，参与运算的张量信息存储在算子节点的输入输出信息中。一个 ONNX 模型可以用 ModelProto 类表示。ModelProto 包含了版本、创建者等日志信息，还包含了存储计算图结构的 graph。GraphProto 类则由输入张量信息、输出张量信息、节点信息组成。
C# Onnx Yolov8 Detect 戴口罩检测 源码
10-19
标题中的"C# Onnx Yolov8 Detect 戴口罩检测 源码"指的是一个使用C#编程语言，基于ONNX（Open Neural Network Exchange）框架和Yolov8模型实现的戴口罩检测项目。这个项目提供了源代码，帮助开发者理解和应用计算机...
YOLOv5 模型转换，从PyTorch到Onnx
06-21
本话题将围绕YOLOv5从PyTorch到ONNX的转换过程进行详细阐述。 首先，PyTorch是一个动态计算图框架，其易用性和灵活性深受开发者喜爱。YOLOv5在PyTorch环境中训练和实现，可以方便地进行模型设计、训练和调试。然而...
基于C#、ML.NET、ONNX实现YOLOv5对象检测（源码+说明文档）.rar
04-14
1、资源内容：基于C#、ML.NET、ONNX实现YOLOv5对象检测（完整源码+说明文档+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的...
C# Onnx yolov8m-table-extraction.rar
06-03
标题中的"C# Onnx yolov8m-table-extraction"表明这是一个关于使用C#语言和ONNX（Open Neural Network Exchange）框架实现YOLOv8模型进行表格提取的项目。YOLO（You Only Look Once）是一种流行的实时目标检测算法，...
onnx模型的修改与调试demo
weixin_39107270的博客
06-05 1329
使用netron 可视化模型。
如何对ONNX模型进行裁剪,以YOLOV5为例
Hi20240217的博客
02-20 803
本文演示了,如何修改ONNX模型。以yolov5为例,讲解如何去掉进box decoding部分,直接输出3个特征图。
yolov5导出onnx文件
chenyuan1111的博客
09-15 349
首先打开conda终端。
Yolov5 export.py实现onnx模型的导出
m0_74137224的博客
04-25 3392
查了很多资料，很多用python代码写的，只需要这个库那个库的，最后都没成功。不如直接使用Yolov5里面的 export.py实现模型的转换。
5.1 onnx 修改权重示例
weixin_45063703的博客
12-05 656
对onnx 结构中的权重进行修改比如：原本是一个标量，修改为一个一维数组。
onnx.helper修改onnx模型融合多层为自定义节点并以constant形式加载权重参数到onnx
ywfwyht的博客
06-03 985
在进行模型融合时，我们通常需要将多个模型的层合并为一个自定义节点，以提高模型推理效率和减少推理时间。其中，'custom_node’为自定义节点的名称，'input_tensor’为输入节点名称，'output_tensor’为输出节点名称，value_list为节点属性列表。
yolov5 ONNX推理
07-27
YOLOv5是一种目标检测模型，可以使用ONNX格式进行推理。要进行YOLOv5 ONNX推理，你可以按照以下步骤进行操作： 1. 首先，将YOLOv5模型转换为ONNX格式。你可以使用YOLOv5官方提供的脚本或工具来完成此操作。例如，你可以使用YOLOv5的export.py脚本将模型权重文件转换为ONNX格式。 2. 安装ncnn-build-tools-onnx，并使用其中的onnx2ncnn工具将ONNX模型转换为ncnn模型。你可以使用以下命令进行转换： ``` ./onnx2ncnn yolov5s_sim.onnx yolov5s_sim.param yolov5s_sim.bin ``` 3. 修改转换后的param文件，确保它与你的模型和数据匹配。 4. 使用转换后的ncnn模型进行推理。你可以使用ncnn库或其他支持ncnn模型的框架进行推理。 请注意，以上步骤仅提供了一种常见的方法，具体的操作可能因你的环境和需求而有所不同。建议你参考YOLOv5官方文档或相关资源，以获取更详细的指导和示例代码。 #### 引用[.reference_title] - *1* [YOLOV5模型转onnx并推理](https://blog.csdn.net/qq128252/article/details/127105463)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [yolov5 ncnn 推理](https://blog.csdn.net/m0_37264397/article/details/125792448)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值