pytorch经onnx使用TensorRT部署转换踩坑记录

转自：https://blog.csdn.net/baidu_33738335/article/details/111319349  侵删

老版本踩坑
1. Pytorch模型中不能有条件支路
因为Pytorch模型转onnx模型的过程中，需要传给模型一个假的输入，然后做一次前向传播，再根据前向传播的结果来做模型的转换
2. Pytorch中的某些操作在TensorRT中不支持

x = x.view(x.size(0), -1)不支持，换成x = x.flatten(1)
torch.unsqueeze(x[:, 0], 1)不支持，需要去掉
动态size是不支持的，比如h = x.size()[2]，改成具体数值
3. Pytorch中的多卡操作更改了模型名字，转换模型的时候没有导入权重

4. TensortRT找不到ERROR: builtin_op_importers.cpp:727 In function importCast:
取消gpu转模型，用cpu转换可以解决

5.转换注意
Pytorch转libtorch的pt模型，注意加上语句model.eval()，防止后向传播
6. interpolate转onnx

pytorch1.1 没问题，tensorrt端使用6也没问题
b1= interpolate(b1, size=(h, w), mode=“nearest”, align_corners=False)

pytorch1.3转换，Assertion failed:
ctx->tensors().count(inputName)，转换模型时换用pip install onnx==1.4.0 with
pytorch 1.3.1，该错误消失

pytorch1.3转换，发现upsample层会多一个constant，转换成功，但是tensorrt端Assertion failed: (nbDims >= 1) && (nbDims <=3)报错，是由于不支持F.interpolate的双线性模式，改为b1= interpolate(b1, size=(h, w),mode=“nearest”)可以工作，但是图片处理结果会影响使用。

上采样转换出错的解答帖 https://github.com/NVIDIA/TensorRT/issues/284

7 莫名问题，可以跑但是序列化存不了
是一些奇怪的问题，有的层可能不支持，然后还没报错，一一排除法

具体算法转换踩坑
按照上述的换了插值，双线性换为nearest

opset_version 11，pytorch1.3有Assertion failed: ctx->tensors().count(inputName)
pytorch1.1失败，有constant不支持
pytorch1.5可以转换，但是报错
opset_version=10，pytorch1.3转换后While parsing node number 303 [Resize]:Assertion failed: scales.is_weights() && “Resize scales must be an initializer!”
在上一步基础上把插值全部展开，写为常数，可以看到原来的resize节点，都变为resize 下面写着scales<4>
详细见 https://github.com/onnx/onnx-tensorrt/issues/361
单输入改为双输入，放在tensorrt里检测到两个输入，同时序列化发生冲突，使用import onnx
>>> model = onnx.load("E:\\RSVP\\model\\hdr\\hdr.onnx")
>>> onnx.checker.check_model(model)

发现pytorch1.3转换的模型报错ValidationError: Node () has input size 5 not in range [min=1, max=1].改换pytorch1.5，同样测试onnxchecker没有报错，尝试pytorch1.5转换

Assertion failed: scales.is_weights() && “Resize scales must be an initializer!”

**

tensorrt升级
**
上述环境都是TensorRT6版本，后面升级为7.0
升级到tensorrt7，api区别在于

const auto explicitBatch = 1U << static_cast<uint32_t>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
auto network = SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetworkV2(explicitBatch));
//auto network SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetwork());

目测TensorRT7配置pytorch>1.5版本，目前错误还较少
再也不想这样转模型了，心好累-。-，后面学习一下自定义模型吧，还是这样方便。