pytorch模型转tensorRT8的executeMemcpy::1334报错

已于 2022-12-06 11:22:18 修改
阅读量1.9k 收藏
点赞数
文章标签： pytorch c++
于 2022-04-25 09:38:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ozinco/article/details/124397604
版权

pytorch模型转成tensorRT后，运行时出现报错：

ERROR: 1: [genericReformat.cu::genericReformat::executeMemcpy::1334] Error Code 1: Cuda Runtime (invalid argument)

 后来发现是torch.cat算子引起的，替换成torch.stack后正常

原因还不清楚，可能是tensorRT8的bug，注意避坑

报错的本质是trt不支持cat这个算子，所以需要曲线救国，找个别的办法实现cat的功能

oZincO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CUDA error:invalid argument
jacke121的专栏
06-23 4071
当使用torch.view()时 出现 RuntimeError: invalid argument 1: input is not contiguous at /pytorch/torch/lib/TH/generic/THTensor.c:231 可以使用 tensor.contiguous() 解决 比如： mask[idx, :].view(bat_size, 1) 变成 mask[idx, :].contiguous().view(bat_size, 1) ...
cuda error invalid argument
jacke121的专栏
06-23 4623
用pytorch训练时报的错 在loss.backward时报错 估计应该是loss出现了异常值。
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
微鉴道长的博客
08-29 7352
TensorRT 报错（Python)：Error Code 1: Cuda Runtime (invalid resource handle) 解决方法
Segmentation fault (core dumped)的一种可能原因
YuQiao0303的博客
05-23 616
我的原因是，处理的两个tensor的device不同，一个在cpu上，一个在gpu上。 都放到一起就没有这个报错了。
RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:405
qq_42647047的博客
05-13 6869
错误 RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:405 解决 ： 将 torch.backends.cudnn.benchmark = True(该句一般出现在主函数的开头几句) 改为 torch.backends.cudnn.benchmark = False 错误原因 ： 1、多GPU测试 2、PyTorch版本与显卡不兼容 在这里我的报错是由
TensorRT模型量化出错_ Error Code 1: Cuda Runtime (an illegal memory access was encountered)
cumtchw
10-28 5088
在A10显卡上用TensorRT做模型量化时，报如下的错误。 [W] [TRT] Calibration Profile is not defined. Running calibration with Profile 0 [I] calib data processed : 0/4680batch [E] [TRT] 1: [calibrator.cpp::add::779] Error Code 1: Cuda Runtime (an illegal memory access was encou.
onnx python 推理错误
博观约取，厚积薄发
01-14 2965
ValueError: could not broadcast input array from shape (150528,) into shape (602112,) [TensorRT] ERROR: 1: [hardwareContext.cpp::terminateCommonContext::141] Error Code 1: Cuda Runtime (invalid device context) [TensorRT] INTERNAL ERROR: [defaultAllocator.c
Error Code 1: Cuda Runtime (invalid resource handle)
AI浩
12-06 5211
同时加载了多个TensorRT模型，就会出现如下问题： 原因分析 这种问题一般多发于在多线程中使用tensorrt，或者在主线程中定义tensorrt的引擎，然后在回调线程利用该引擎进行推理的时候，就会发生这样的错误。导入cuda包，然后初始化。 在类初始化里面添加： 在推理代码里面，再推理前加上 self.cfx.push()，在推理完成后，加上 self.cfx.pop()
CUDA异常处理篇——invalid argument 的解决方法
热门推荐
04-19 2万+
今天在编写cuda程序时，遇到一个很奇怪的问题, 就是在调用核函数时，返回cuda错误信息，报invalid argument 。 cudaError_t error = cudaGetLastError(); printf("CUDA error: %s\n", cudaGetErrorString(error)); 一般的理解是参数异常，有可能是参数过大，一种是非法参数。经过检查，参...
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
博文：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现 的代码备份。
05-16
博文：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现 的代码备份。
Pytorch2TensorRT:pytorch原始码解析生成tensorrt引擎
03-23
Atlab SDK团队推理库运行环境参考Dockerfile安装git clone --recursive ...mkdir build && cd build && cmake ..makecd ../../运行python refinedet.py
朝圣者项目：torch2trt，将pytorch模型快速转换为TensorRT引擎。-C/C++开发
05-27
该项目由torch2trt和torch2trt_dynamic分叉，此项目的目的是提供一种将pytorch模型直接转换为TensorRT引擎的朝圣者项目。 TensorRT引擎。 如果您的模型是基于pytorch构建的，则可以加快您的项目的工作速度；我们已经...
pytorch笔记：ModuleDict
最新发布
qq_40206371的博客
05-03 203
nn.Module。
模型训练中的过拟合和欠拟合
zly_Always_be的博客
04-28 531
模型训练中的过拟合和欠拟合现象的原因、变现及解决方法
每天五分钟玩转深度学习PyTorch：创建pytorch中的零维标量tensor
huanfeng_AI的博客
04-29 119
tensor张量是一个多维数组，零维就是一个点（就是本章的标量），一维就是向量，二维就是一般的矩阵，多维就相当于一个多维的数组，这和 numpy理解是一样的，不同的是Tensor不仅可以在CPU上跑，在GPU上也可以跑。标量（scalar），只具有数值大小，而没有方向，我们可以把标量看成是一个实数。本节课程我们学习如何使用pytorch来创建标量，在pytorch中只要dim=0的tensor，我们就可以认为它是标量。
PyTorch中Torch.arange()函数详解
weixin_41147796的博客
04-29 1146
可以看到，torch.range()的范围是[-8, 8]，类型为torch.float32。torch.arange()的范围是[-8, 8)，类型为torch.int64。即只有当类型为float时才可设置requires_grad=True，故可将。改为以下，即手动改变数据类型即可。
解决 Pytorch 和 Cuda 版本不兼容问题
自洽而内求
04-29 1341
CUDA和PyTorch不兼容的问题通常出现在两个方面：CUDA版本与PyTorch要求的版本不匹配，或者系统环境配置出现了问题。【检查CUDA和PyTorch版本】【更新CUDA驱动程序】等
pytorch报错详解：RuntimeError: Trying to backward through the graph a second time
09-13
这个报错通常是因为在PyTorch计算图中进行了多次反向传播。PyTorch默认情况下禁止多次反向传播，以防止梯度累积导致计算不正确。如果你需要多次反向传播，可以通过调用`.retain_grad()`方法来保留梯度，或者使用`torch.autograd.grad()`函数手动计算梯度。 下面是一个例子，展示了如何处理这个报错： ```python import torch x = torch.tensor([1.0], requires_grad=True) y = x**2 # 进行第一次反向传播 y.backward(retain_graph=True) print(x.grad) # 输出 tensor([2.]) # 进行第二次反向传播 y.backward() # 报错：RuntimeError: Trying to backward through the graph a second time ``` 上述代码中，第一次反向传播成功计算了`x`的梯度。然而，在尝试进行第二次反向传播时，会出现报错。要解决这个问题，可以在第一次反向传播时使用`retain_graph=True`来保留计算图，以便后续的反向传播调用。或者，你也可以使用`torch.autograd.grad()`函数手动计算梯度。 总结起来，如果你需要多次反向传播，请确保在每次反向传播时正确地设置`retain_graph`参数或手动计算梯度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值