报错内容:
在使用onnxruntime进行onnx模型文件推理时遇到如下报错:[E:onnxruntime:Default, provider_bridge_ort.cc:1862 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1539 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError]
以上报错会导致不能使用GPU推理而使用CPU执行推理。
解决办法:
原因是onnxruntime-gpu版本和当前设备CUDA和Cudnn版本不匹配导致。
https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html前往onnxruntime官网查询匹配版本,安装指定版本即可。
我是将onnxruntime-gpu==1.20.1降级到1.18.0即可使用GPU推理。