在intel核显设备上使用openvino加速yolov5

本文章适用于GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite仓库的v6.2版本。

在我写这篇文章的时候国内的教程还只有导出ONNX再转换，yolov5的代码库已经可以一步到位导出openvino模型了，以前的教程行不通，我自己摸索了一套分享给大家。

起因

想在nuc12代（CPU: 12th Gen Intel(R) Core(TM) i7-1260P）上面跑yolov5的GPU加速，按照官网原有的教程导出openvino模型推理比原版pytorch推理还慢（yolov5m模型用pytorch推理需要140ms一帧，用了openvino“加速”到160ms了😂）

后面翻了openvino文档和yolov5推理代码，发现了端倪。

解决方案

看了openvino文档，文档写了调用GPU需要设置device_name="GPU"，翻了yolov5代码中/yolov5-6.2/models/common.py里面的DetectMultiBackend函数，可以看到他在编译模型时将模型放在了CPU上。

于是使用官方的代码检测可用的openvino计算设备。

import openvino as ov
core = ov.Core()
devices = core.available_devices

for device in devices:
    device_name = core.get_property(device, "FULL_DEVICE_NAME")
    print(f"{device}: {device_name}")

 

得到GPU设备在openvino中应该设置为"GPU"，将yolov5代码中/yolov5-6.2/models/common.py中的370行换成如下代码即可调用GPU。

executable_network = ie.compile_model(network, device_name="GPU")

性能测试

使用官网下载的yolov5m.pt模型测试，不保存也不显示图像，测试推理时间。

原版pytorch模型在CPU推理，推理时间大概在130ms。

使用openvino加速，推理时间在30ms上下，几乎是加速前4倍的速度。