本文章适用于GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite仓库的v6.2版本。
在我写这篇文章的时候国内的教程还只有导出ONNX再转换,yolov5的代码库已经可以一步到位导出openvino模型了,以前的教程行不通,我自己摸索了一套分享给大家。
起因
想在nuc12代(CPU: 12th Gen Intel(R) Core(TM) i7-1260P)上面跑yolov5的GPU加速,按照官网原有的教程导出openvino模型推理比原版pytorch推理还慢(yolov5m模型用pytorch推理需要140ms一帧,用了openvino“加速”到160ms了😂)
后面翻了openvino文档和yolov5推理代码,发现了端倪。
解决方案
看了openvino文档,文档写了调用GPU需要设置device_name="GPU",翻了yolov5代码中/yolov5-6.2/models/common.py里面的DetectMultiBackend函数,可以看到他在编译模型时将模型放在了CPU上。
于是使用官方的代码检测可用的openvino计算设备。
import openvino as ov
core = ov.Core()
devices = core.available_devices
for device in devices:
device_name = core.get_property(device, "FULL_DEVICE_NAME")
print(f"{device}: {device_name}")
得到GPU设备在openvino中应该设置为"GPU",将yolov5代码中/yolov5-6.2/models/common.py中的370行换成如下代码即可调用GPU。
executable_network = ie.compile_model(network, device_name="GPU")
性能测试
使用官网下载的yolov5m.pt模型测试,不保存也不显示图像,测试推理时间。
原版pytorch模型在CPU推理,推理时间大概在130ms。
使用openvino加速,推理时间在30ms上下,几乎是加速前4倍的速度。