Tensorrt加速神经网络配置过程

最新推荐文章于 2023-11-05 15:58:34 发布

u010654302

最新推荐文章于 2023-11-05 15:58:34 发布

阅读量699

点赞数

文章标签：神经网络深度学习 pytorch

本文链接：https://blog.csdn.net/u010654302/article/details/105552157

版权

配置过程##

1 pytorch1.2.0
onnx1.6.0
TensorRT==7.0.0.11
torch.onnx.export(opset=10）
2## KeyError: ‘upsample_bilinear2d’
带有upsample层的pytorch模型插值模式改成nearest
3转成功后的onnx 需要用

python3 -m onnxsim model.onnx model.simple.onnx

简化模型

Assertion failed: tensors.count(input_name) error when converting onnx to tensorrt #302

torch降到1.2 用onnxsim简化模型

Tensorrt官网推荐库

ONNX-Tensorrt

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

u010654302

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

实战 | YOLOv8使用TensorRT加速推理教程（步骤 + 代码）

Color Space的博客

07-09

2688

这一步主要是安装根据自己的硬件安装GPU驱动，下载CUDNN等，以往的文章已经介绍过多次，可以点击下面的图片跳转到对应文章查看(点击图片跳转)。DeepSparse：专为稀疏模型设计的CPU推理运行时，可以有效加速基于WSL2的Windows环境下的推理。OpenVINO：Intel的推理工具套件，用于CPU上的模型优化和加速，支持量化和多种硬件加速。可以使用官网下载的模型也可以使用自己训练好的模型。保持框架最新：确保使用的深度学习框架版本是最新的，以获得最新的优化和bug修复。

解决pytorch报错RuntimeError: exp_vml_cpu not implemented for ‘Byte‘问题：

qq_33770940的博客

10-08

8278

解决pytorch报错RuntimeError: exp_vml_cpu not implemented for 'Byte’问题：在调试代码过程中遇到报错： RuntimeError: exp_vml_cpu not implemented for 'Byte' 通过提示可知，报错是因为exp_vml_cpu 不能用于Byte类型计算，这里通过 .dtype 来查看要运算的tensor类型： print(outputs.dtype) 输出： torch.uint8 而在计算中，默认采用 torch

参与评论您还未登录，请先登录后发表或查看评论

“reflection_pad2d_out_template“ not implemented for ‘Byte‘

mjx792的博客

11-04

1286

解决pytorch问题“"reflection_pad2d_out_template" not implemented for 'Byte'”

RuntimeError: “upsample_nearest2d_channels_last” not implemented for ‘Half’

drewings的博客

09-16

1637

webui(stable-diffusion)

PyTorch2ONNX2TensorRT 踩坑日志

最新发布

03-04

YOLO（You Only Look Once）系列是广泛应用于目标检测领域的神经网络架构，从YOLOv1到YOLOv8，每一代都在速度与精度之间找到了更好的平衡。YOLOv8作为最新版本，引入了更多的优化技术，提高了检测的准确性和实时性，...

跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署-超优质项目-附完整流程教程

01-18

标题中的“跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署”指的是一个实际的计算机视觉项目，其目的是利用特定的硬件平台和软件技术来提升目标检测和追踪的效率。这个项目的核心是将两个...

RuntimeError: ONNX export failed: Couldn‘t export operator aten::upsample_bilinear2d

DYF的博客

02-04

1652

pth --> onnx报错 RuntimeError: ONNX export failed: Couldn't export operator aten::upsample_bilinear2d 解决： torch.onnx.export(model, input, onnx_path, verbose=True, input_names=input_names, output_names=output_names) #增加：opset_version=11 torch.onnx.e

YOLO报错upsample_bilinear2d_backward_out_cuda does not have a deterministic implementation

qq_53821866的博客

11-05

1404

PyTorch中的确定性算法通常用于确保在相同的输入数据和计算设备下，同样的操作能够产生相同的结果。然而，并非所有操作都有确定性的实现。在这种情况下，PyTorch会发出警告。该警告指出该函数没有确定性的实现，但您设置了。这个报错信息是关于使用PyTorch的。定位到报错那一行，在前一行加入。

Pytorch——初探onnx（1）解决upsample_bilinear2d转换问题

weixin_45709671的博客

07-07

4305

问题将pytorch的pth文件读取后转换为ONNX格式，尝试使用下述代码将model导出为onnx格式 onnx.export(model, input_image, 'model.onnx') 出现了如下错误 RuntimeError: ONNX export failed: Couldn‘t export operator aten::upsample_bilinear2d 环境目前测试发现pytorch1.6及以下均存在此问题复现下述代码中使用的mode为bilinear，align_co

Couldn‘t export operator aten::upsample_bilinear2d

baidu_34172099的博客

03-30

1247

这是在pytorch在向onnx转移模型时候遇到的问题，虽然onnx并不是完全支持pytorch所有层，但是上采样这个还是可以的，导致这个的原因是upsample_blinear2d丢失导致，所以在envs下的pytorch的onnx文件夹下找到 symbolic_opset9.py，把里面720行左右相似的语句修改为如下（建议修改之前先复制一份文件备份）： upsample_bilinear1d...

2020-11-23

weixin_45908408的博客

11-23

1051

TypeError: upsample_bilinear2d(): argument ‘output_size’ must be tuple of ints, but found element of type Tensor at pos 1 调试代码遇到的大坑，报错如下： D:\anconda\envs\python37\python.exe D:/document/memo/LDF-1117/train-coarse/test.py Parameters... datapath : D:/date

onnx KeyError: ‘upsample_bilinear2d‘

jacke121的专栏

02-15

4612

onnx KeyError: 'upsample_bilinear2d' 解决方法：把上采样的bilinear换成可以支持的。

pytorch转onnx遇到的问题汇总

juluwangriyue的博客

06-11

3369

1、关于torch导出onnx时候无法导出 upsample_bilinear2d的问题：有人说直接将bilinear换成nearest，但是模型效果自然打折扣完美的解决方案如下 torch.onnx.export(model, dummy_tensor, output, export_params=True,opset_version=11) 这里只需要在后面多加一个 opset_version = 11 就可以解决但是前提是你的pytorch版本需要大于1.3.0 2、ONNX export f

TensorRT5,TensorRT6不兼容pytorch1.2，1.3，1.4导出的ONNX模型解决方案

The space of Shining

01-13

9770

错误点使用pytorch1.2,1.3导出的ONNX模型，如下面这个resnet18的代码： import torch import torch.nn as nn import math dummy_input = torch.randn(10, 3, 224, 224, device='cuda') def conv3x3(in_planes, out_planes, strid...

解决RuntimeError: _thnn_mse_loss_forward is not implemented for type torch.cuda.LongTensor和scatter_方法

tanglinjie的CSDN博客

02-26

1万+

在PyTorch中遇到了如标题的问题，网上大多数给的是类型不匹配问题，在stackoverflow找到了问题的答案，这里出现的问题是因为loss需要one-hot类型的数据，而我们使用的是类别标签。什么是one-hot？一个例子解释什么是one-hot，对于5分类问题，我们使用[0,0,1,0,0]来表示这个实例是属于第三个类别的，等价于类别标签[2]（从0对类别编码）。关于one-hot的好...