pytorch - onnx - tensorrt

最新推荐文章于 2024-06-17 11:46:23 发布
最新推荐文章于 2024-06-17 11:46:23 发布
阅读量432 收藏 1
点赞数
文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZHANG8023ZHEN/article/details/130533921
版权
在将PyTorch模型转换为ONNX格式时，遇到for循环需预先处理，确保静态化。由于TensorRT不支持nonzero操作，但ONNX支持，需注意索引操作。若出现NoneType对象错误，可能是因为工作空间不足，可通过增大config.max_workspace_size来解决。
摘要由CSDN通过智能技术生成
  1. 将pytorch转为onnx的时候，如果有for循环，可以将for循环写死（if torch.onnx.is_in_onnx_export():）
  2. nonzero: 由于tensorrt没有nonzero这个算子，但是onnx有nonzero这个算子，所以在pytorch中的任何关系索引的算子都会在onnx的时候引入nonzero，所以最好将索引写死
  3. 遇到’NoneType’ object has no attribute ‘num_bindings’，是因为空间不够了，将condig.max_workspace_size调整为 = 1 << 30
ZHANG8023ZHEN
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
crf转onnx，被range卡住
yuansaijie0604的专栏
06-02 1320
crf转onnx时，for循环次数不定的处理方法
pyTorch onnx 学习(一)
麻花
09-17 5796
官方文档 pyTorch版本AlexNet模型转换到caffe2版本的模型 AlexNet模型已经训练好，来自与torchvision包，现在需要转换成onnx格式的模型，转换后的结果为alexnet.onnx： import torch import torchvision dummy_input = torch.randn(10, 3, 224, 224, device='cud...
AttributeError: ‘NoneType‘ object has no attribute ‘num_bindings‘
最新发布
wangyiming84的博客
06-17 380
import后添加代码。
torch转onnx torch.jit.script模式 crf解码问题
sinat_28375239的博客
11-07 1302
torch转onnx torch.jit.script模式 crf解码问题
yolov5 6.1 关于 tensorrt 加速的使用以及问题说明
专注于 IOT 物联网的嵌入式研发
06-13 5204
所以在使用加速模型文件 best.engine 时，需要在 detect.py 文件中把默认的 coco128.yaml 数据集配置文件更换成自己的配置文件，或者在调用 detect.py 时使用 --data 参数指定数据集配置文件。
Tensorrt Bert Pytorch
weixin_48026885的博客
04-07 1163
tensorrt bert pytorch
关于nonzero算子的使用问题
xi_xiyu的博客
10-28 298
当前mindspore 对 动态shape的支持还在完善中，可能当前泛化性没有那么好，需要查看下网络中的相关操作是否全面支持，或者查看下能否不适用动态shape的能力进行一定规避。给您造成的困扰深感歉意，目前相关需求也反应给了相应同事。当前可能只能根据进行对网络脚本进行更改规避该问题。可以后续关注mindspore相关特性的支持情况再对网络进行相关调整。希望能解决一下为什么会出现这种情况呢?
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
在本文中，我们将深入探讨如何使用TensorRT进行PyTorch版本的YOLOv4模型的部署，通过PyTorch到ONNX的转换，以及进一步将ONNX模型优化为TensorRT执行引擎。这是一个高效的算法部署实践，对于提升目标检测速度和性能...
nnunet-pytorch转onnx
06-13
nnunet-pytorch 转 onnx 是指将 PyTorch 模型转换为 ONNX 模型，以便于在 TensorRT 等平台上进行加速。以下是该过程中涉及到的知识点： 1. PyTorch 和 ONNX 的关系：PyTorch 是一个流行的机器学习框架，而 ONNX 是...
pytorch-YOLOv4:YOLOv4的PyTorch，ONNX和TensorRT实现
03-19
pytorch-YOLOv4 YOLOv4的最小PyTorch实现。 Paper Yolo v4： ： 源代码： : 更多详细信息： : ...├── demo_pytorch2onnx.py tool to convert into onnx ├── models.py model for pytorch ├── train.py
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 ...
nnunet-pytorch转onnx.zip
12-13
nnunet-pytorch转onnx.zip这个压缩包文件包含了将基于PyTorch实现的nnUNet模型转换为ONNX格式的过程，目的是利用ONNX来提高推理速度，并可能进一步运用TensorRT进行加速。nnUNet是一种高度自动化的神经网络框架，专...
[报错]深析AttributeError: ‘NoneType‘ object has no attribute ‘xxx‘（持更）
panbaoran913的博客
05-08 14万+
有相关的博客还要写它的原因在于下面的博客讲了各自的重点。因此，我将深入刨析原因，以及导致该原因出现的几种问题！ 参考博文： 《AttributeError: ‘NoneType’ object has no attribute……错误分析》 《【报错分析】AttributeError: ‘NoneType’ object has no attribute ‘xxx’》 《成功解决AttributeError: ‘NoneType’ object has no attribute ‘find_all’》
python列表报错‘NoneType‘ object has no attribute ‘XXX‘
雪崩的博客
10-25 7657
在学习python列表时，遇到了以下问题：AttributeError: 'NoneType' object has no attribute 'XXX' 具体报错输出如下： 解决方法： 原因是： append() 函数没有返回值，即 L.append(object) --> None所以不能再赋值回去调用append() 函数返回 None，如下：
【报错分析】AttributeError: 'NoneType' object has no attribute 'xxx'
ocean_R的博客
04-18 5万+
问题背景： 通过cv2.imread读取.png格式的数据时发生如下报错： AttributeError: 'NoneType' object has no attribute 'shape' 分析： 在Python中，NoneType是一个类型，如同int、float一样。如： >>> a = None >>> type(a) <class 'Non...
spox实现onnx模型中的for-loop循环
ReadyShowShow的博客
05-09 343
spox是实现修改onnx，或多个onnx模型整合为1个模型的工具。由于pytorch导出的onnx没有if或loop操作。本例主要讲spox实现loop循环。
【3D 目标检测模型部署】全链条打通！PointPillars 从模型到部署
qq_39967751的博客
07-14 7922
近几年点云目标检测一直是计算机视觉领域中很火的任务，各种方法也是层出不穷，从基于点云的PointNet、PointNet++，到使用体素方法的VoxelNet。这些网络取得了不错的检测性能，但同时也存在一些问题。PointNet系列的Point-based模型直接对点云进行处理，可以减少位置信息的损失，但同时也带来了巨大的计算资源消耗，使其很难做到实时。我们来看一下PointPillars中的PillarFeatureNet模块的具体操作，如下图所示。outshttps。......
Python 如何解决'NoneType' object has no attribute '...'的问题
热门推荐
莫罗列科夫斯基先生的博客
10-29 17万+
Python 如何解决’NoneType’ object has no attribute '…'的问题 用 Python + selenium 和Beautifulsoup 爬取MOCC中国大学慕课网上某网上课程的课堂评论，在爬取少量数据时不出现标题所示错误，在爬取大量数据（运用到翻页操作）时出现 ‘NoneType’ object has no attribute ‘text’ 的错误。请...
《python核心编程》序列：字符串、列表和元组Python: Attribute Error - 'NoneType' object has no attribute
河西无名式
11-22 1万+
摘要：在python中，有一种数据类型，它的成员是有序排列的，可以通过下标偏移量访问，称之为“序列”，包括字符串、列表、元组。我们主要从简介、操作符、内建函数、特性、相关模块等方面来学习这些序列。 本文来源：《python核心编程》序列：字符串、列表和元组 1.序列 序列类型操作符： seq[index],seq[index1:index2],seq*expr,seq1+s
pytorch转onnx转tensorrt
06-28
### 回答1： PyTorch是一个深度学习框架，可以用来构建神经网络模型。ONNX是一种开放的神经网络交换格式，可以将不同框架的模型转换为统一的格式。TensorRT是NVIDIA推出的用于加速深度学习推理的库，可以将模型转换为高效的C++代码。因此，将PyTorch模型转换为ONNX格式，再将ONNX模型转换为TensorRT格式，可以提高模型的推理速度和效率。 ### 回答2： Pytorch是一款非常流行的深度学习框架之一，而ONNX（Open Neural Network Exchange）则是一种用于在不同深度学习框架之间交换模型的标准格式。TensorRT是基于NVIDIA GPU优化的深度学习推理引擎，可以加速深度学习模型的预测速度。Pytorch转ONNX转TensorRT的过程主要包括以下几个步骤： 第一步，使用Pytorch训练好的模型可以通过Pytorch提供的方法将模型转化为ONNX格式的模型。这一步通常需要在节省内存的情况下，对训练的模型进行优化并减少其大小。Pytorch提供了一些方法，例如ONNX的exporter，可以在不损失精度的情况下将Pytorch模型转换为ONNX格式。 第二步，将ONNX模型转换为TensorRT格式的模型。这一步通常需要使用TensorRT提供的工具将ONNX格式的模型转换为可以使用TensorRT来加速推理的格式。TensorRT可以根据模型的结构，对其进行优化，从而提高推理的速度和效率。 第三步，使用TensorRT引擎来进行推理。在这一步中，可以使用一些Python或C++的API来调用TensorRT引擎，以加速推理的过程。通常情况下，TensorRT会在NVIDIA GPU上运行，以提高推理的速度和效率。 总之，Pytorch转ONNX转TensorRT是一种很常见的深度学习模型加速优化的方法。通过这种方法，可以将训练好的模型转化为可以快速进行推理的格式，并提高推理的速度和效率，从而更好的满足实际应用需求。同时也可以加深对于Pytorch、ONNX和TensorRT的理解和应用。 ### 回答3： 先介绍一下三个工具的概念。 PyTorch是一个基于Python的库，提供了高度可拓展性和可定制化的机器学习算法、模型和数据处理工具，特别适合用于深度学习。 ONNX（Open Neural Network Exchange）是一个开放的模型表示和转换工具，使得不同框架之间的模型转换和协作更加容易。ONNX 可以将每个框架的模型表示转换为通用表示格式，这样就可以一次性完成跨框架的模型部署。 TensorRT是NVIDIA推出的高性能深度学习推理库，可以对训练好的深度学习模型进行优化，并在NVIDIA GPU上加速模型的推理过程。使用TensorRT能够提升模型的运行速度和效率。 下面是如何将PyTorch模型转为TensorRT模型的过程： 1.将PyTorch模型转化为ONNX格式。有两种方法可以实现这一步骤：一种是使用PyTorch官方提供的torch.onnx.export方法，将PyTorch模型转化为ONNX格式；另一种方法是使用ONNX官方提供的onnx-coreml转换工具。 2.使用TensorRT提供的工具trtexec将ONNX模型转化为TensorRT格式。通过命令行的方式调用trtexec，在将模型转换为TensorRT格式的同时，可以指定一些优化参数，比如设置合适的batch size、设置推理设备的数据类型、设置最大批处理等参数，以提高模型的性能和效率。 3.将转换后的模型导入到TensorRT库中，使用C++或Python等支持TensorRT的代码进行推理。 总体而言，PyTorch转ONNX、ONNX转TensorRT这一过程需要先对PyTorch模型进行格式转化，再将ONNX格式的模型转转化为TensorRT格式，最终通过TensorRT库对模型进行推理。需要注意的是，不同的深度学习模型在转换过程中有着各自的特点和难点，需要根据具体情况进行优化和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值