文章目录
ONNX Runtime的安装
注意,到目前为止,onnxruntime-gpu在CUDA 12.x和CUDA 11.x下的安装命令是不同的,仔细阅读官方文档。
验证安装
python
>>> import onnxruntime
>>> print(onnxruntime.__version__) #打印版本号
>>> onnxruntime.get_device() #打印"GPU"表示GPU可用
ONNX Runtime与CUDA、cuDNN的版本对应
官方文档:https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements
ONNX Runtime与ONNX的版本对应
官方文档:https://onnxruntime.ai/docs/reference/compatibility.html#onnx-opset-support
安装onnx:
pip install onnx
ONNX Runtime、TensorRT、CUDA版本对应
官方文档:https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html