在intel核显设备上使用openvino加速yolov5

最新推荐文章于 2025-05-16 19:51:20 发布

Huge_Lee

最新推荐文章于 2025-05-16 19:51:20 发布

阅读量4.8k

点赞数 19

CC 4.0 BY-SA版权

文章标签： openvino YOLO 人工智能

本文链接：https://blog.csdn.net/Hange_Lee/article/details/134926105

本文介绍如何在YOLov5v6.2版本中利用OpenVINO在nuc12代CPU上实现GPU加速，原始教程需先导出ONNX，但作者发现直接使用yolov5库可一步导出OpenVINO模型。调整模型编译设置后，速度提升明显，从140ms降低到30ms左右。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文章适用于GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite仓库的v6.2版本。

在我写这篇文章的时候国内的教程还只有导出ONNX再转换，yolov5的代码库已经可以一步到位导出openvino模型了，以前的教程行不通，我自己摸索了一套分享给大家。

起因

想在nuc12代（CPU: 12th Gen Intel(R) Core(TM) i7-1260P）上面跑yolov5的GPU加速，按照官网原有的教程导出openvino模型推理比原版pytorch推理还慢（yolov5m模型用pytorch推理需要140ms一帧，用了openvino“加速”到160ms了😂）

后面翻了openvino文档和yolov5推理代码，发现了端倪。

解决方案

看了openvino文档，文档写了调用GPU需要设置device_name="GPU"，翻了yolov5代码中/yolov5-6.2/models/common.py里面的DetectMultiBackend函数，可以看到他在编译模型时将模型放在了CPU上。

于是使用官方的代码检测可用的openvino计算设备。

import openvino as ov
core = ov.Core()
devices = core.available_devices

for device in devices:
    device_name = core.get_property(device, "FULL_DEVICE_NAME")
    print(f"{device}: {device_name}")

得到GPU设备在openvino中应该设置为"GPU"，将yolov5代码中/yolov5-6.2/models/common.py中的370行换成如下代码即可调用GPU。

executable_network = ie.compile_model(network, device_name="GPU")

性能测试

使用官网下载的yolov5m.pt模型测试，不保存也不显示图像，测试推理时间。

原版pytorch模型在CPU推理，推理时间大概在130ms。

使用openvino加速，推理时间在30ms上下，几乎是加速前4倍的速度。