cuda==10.2
cudnn==8.0.3
onnxruntime-gpu==1.5.0 or 1.6.0
pip install onnxruntime-gpu==1.6.0
### 2.2 方法二:onnxruntime-gpu不依赖于本地主机上cuda和cudnn
在 conda 环境中安装,不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本,灵活方便。这里,先说一下已经测试通过的组合:
* python3.6, cudatoolkit10.2.89, cudnn7.6.5, onnxruntime-gpu1.4.0
* python3.8, cudatoolkit11.3.1, cudnn8.2.1, onnxruntime-gpu1.14.1
如果需要其他的版本, 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。
下面,从创建conda环境,到实现在GPU上加速onnx模型推理进行举例。
#### 2.2.1 举例:创建onnxruntime-gpu==1.14.1的conda环境
创建conda环境
conda create -n torch python=3.8
激活conda环境
source activate torch
conda install pytorch1.10.0 torchvision0.11.0 torchaudio0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
conda install cudnn8.2.1
pip install onnxruntime-gpu==1.14.1
pip install … (根据需求,安装其他的包)
#### 2.2.2 举例:实例测试
* 打开终端,输入 **watch -n 0.1 nvidia-smi**, 实时查看gpu使用情况
![](https://img-blog.csdnimg.cn/7caade35d81a476d