1. 前言
已经成功构建了X86上的TRT模型, 但在ARM64 (NX)上构建TRT模型失败。
错误如下
GRU_75: inputs to IRecurrenceLayer mismatched
Builder failed while analyzing shapes.
X86 Config: TensorRT version: 7.2.3.4
ARM64 config: TensorRt version: 7.1.3.4
Xavier NX 软件版本JetPack 4.5
2. 尝试其他网络
已经使用“torch.onnx.export”导出了ONNX 已经使用PyTorch、OnnxRuntime和TensorRT完成了推理。
PyTorch和OnnxRuntime给出了相同的结果,而TensorRT则没有。
觉得ONNX的TrtEngine有问题。
我还有其他的分割模型,载入很好,但结果是不相似的。
我已经尝试了polygraphy分割模型,Pytorch和OnnRuntime给出相同的结果, 但TRT引擎不是。
3. 升级nvonnxparser
对于JetPack 4.5.1环境,可以将nvonnxparser升级到v7.2来修复这个问题。
以下是具体的操作步骤:
Install cmake-3.13.5
$ sudo apt-get install -y protobuf-compiler libprotobuf-dev openssl libssl-dev libcurl4-openssl-dev
$ wget https://github.com/Kitware/CMake/releases/download/v3.13.5/cmake-3.13.5.tar.gz
$ tar xvf cmake-3.13.5.ta