pytorch经onnx使用TensorRT部署转换踩坑记录

老版本踩坑

1. Pytorch模型中不能有条件支路
因为Pytorch模型转onnx模型的过程中，需要传给模型一个假的输入，然后做一次前向传播，再根据前向传播的结果来做模型的转换
2. Pytorch中的某些操作在TensorRT中不支持

• x = x.view(x.size(0), -1)不支持，换成x = x.flatten(1)
• torch.unsqueeze(x[:, 0], 1)不支持，需要去掉
• 动态size是不支持的，比如h = x.size()[2]，改成具体数值

3. Pytorch中的多卡操作更改了模型名字，转换模型的时候没有导入权重

4. TensortRT找不到ERROR: builtin_op_importers.cpp:727 In function importCast:
取消gpu转模型，用cpu转换可以解决

5.转换注意
Pytorch转libtorch的pt模型，注意加上语句model.eval()，防止后向传播
6. interpolate转onnx

• pytorch1.1 没问题，tensorrt端使用6也没问题
  b1= interpolate(b1, size=(h, w), mode=“nearest”, align_corners=False)

• pytorch1.3转换，Assertion failed:
  ctx->tensors().count(inputName)，转换模型时换用pip install onnx==1.4.0 with
  pytorch 1.3.1，该错误消失

• pytorch1.3转换，发现upsample层会多一个constant，转换成功，但是tensorrt端Assertion failed: (nbDims >= 1) && (nbDims <=3)报错，是由于不支持F.interpolate的双线性模式，改为b1= interpolate(b1, size=(h, w),mode=“nearest”)可以工作，但是图片处理结果会影响使用。

• 上采样转换出错的解答帖 https://github.com/NVIDIA/TensorRT/issues/284

7 莫名问题，可以跑但是序列化存不了
是一些奇怪的问题，有的层可能不支持，然后还没报错，一一排除法

具体算法转换踩坑

按照上述的换了插值，双线性换为nearest

• opset_version 11，pytorch1.3有Assertion failed: ctx->tensors().count(inputName)
• pytorch1.1失败，有constant不支持
• pytorch1.5可以转换，但是报错
• opset_version=10，pytorch1.3转换后While parsing node number 303 [Resize]:Assertion failed: scales.is_weights() && “Resize scales must be an initializer!”
• 在上一步基础上把插值全部展开，写为常数，可以看到原来的resize节点，都变为resize 下面写着scales<4>
  详细见 https://github.com/onnx/onnx-tensorrt/issues/361
• 单输入改为双输入，放在tensorrt里检测到两个输入，同时序列化发生冲突，使用import onnx

>>> model = onnx.load("E:\\RSVP\\model\\hdr\\hdr.onnx")
>>> onnx.checker.check_model(model)

发现pytorch1.3转换的模型报错ValidationError: Node () has input size 5 not in range [min=1, max=1].改换pytorch1.5，同样测试onnxchecker没有报错，尝试pytorch1.5转换

• Assertion failed: scales.is_weights() && “Resize scales must be an initializer!”
  

**

tensorrt升级

**
上述环境都是TensorRT6版本，后面升级为7.0
升级到tensorrt7，api区别在于

const auto explicitBatch = 1U << static_cast<uint32_t>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
auto network = SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetworkV2(explicitBatch));
//auto network SampleUniquePtr<nvinfer1::INetworkDefinition>(builder->createNetwork());

目测TensorRT7配置pytorch>1.5版本，目前错误还较少
再也不想这样转模型了，心好累-。-，后面学习一下自定义模型吧，还是这样方便。