这篇博客详细介绍了如何在 windows、ubuntu环境下搭建 onnxruntime-gpu
环境,并进行 ONNX 模型的部署。以下是对该文章内容的总结和补充:
安装 onnxruntime
和 onnxruntime-gpu
-
安装
onnxruntime
:
如果你仅需要在 CPU 上进行推理,可以使用以下命令安装:pip install onnxruntime
-
安装
onnxruntime-gpu
:
若要在 GPU 上加速推理,需要安装onnxruntime-gpu
。可以有两种方法:
不依赖于本地主机上的 CUDA 和 cuDNN**- 创建 Conda 环境并安装所需版本的
onnxruntime-gpu
,CUDA 和 cuDNN:
conda create -n torch python=3.8 conda activate t
- 创建 Conda 环境并安装所需版本的