onnxruntime推理

在onnx模型文件测试时发现cpu版本推理速度慢，所以打算使用gpu版本推理

之前onnxruntime使用的是cpu版本的需要uninstall
1 然后重新pip install onnxruntime-gpu
2 安装好之后进入pyhton

import onnxruntime
print(onnxruntime.get_device())
输出GPU
3 检查是否能推理
import onnxruntime
ort_session = onnxruntime.InferenceSession(“./save_model/last_epoch_weights_batch1.onnx”,providers=[‘CUDAExecutionProvider’])
print(ort_session.get_providers())
输出
[‘CUDAExecutionProvider’, ‘CPUExecutionProvider’] 表示OK
4 最后，原始的cpu推理创建session的代码需要修改一下
ort_session = ort.InferenceSession(‘.batch1.onnx’) # cpu版本
ort_session = ort.InferenceSession(‘batch1.onnx’,providers=[‘CUDAExecutionProvider’]) # gpu版本