【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)

cuda==10.2

cudnn==8.0.3

onnxruntime-gpu==1.5.0 or 1.6.0

pip install onnxruntime-gpu==1.6.0

### 2.2 方法二：onnxruntime-gpu不依赖于本地主机上cuda和cudnn


在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。这里，先说一下已经测试通过的组合：


* python3.6, cudatoolkit10.2.89, cudnn7.6.5, onnxruntime-gpu1.4.0
* python3.8, cudatoolkit11.3.1, cudnn8.2.1, onnxruntime-gpu1.14.1


如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。


下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。


#### 2.2.1 举例：创建onnxruntime-gpu==1.14.1的conda环境

创建conda环境

conda create -n torch python=3.8

激活conda环境

source activate torch
conda install pytorch1.10.0 torchvision0.11.0 torchaudio0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
conda install cudnn8.2.1
pip install onnxruntime-gpu==1.14.1

pip install … (根据需求，安装其他的包)

#### 2.2.2 举例：实例测试


* 打开终端，输入 **watch -n 0.1 nvidia-smi**, 实时查看gpu使用情况

 ![](https://img-blog.csdnimg.cn/7caade35d81a476d9