测试场景:
在WIN10的平台,测试了几种部署工具的性能比较,非官方数据,只是记录了测试的时间
1.硬件平台
CPU Intel Core I7 9850-H @2.6GHz
内存 32G
核显 UHD620
NVDIA Quadro P620 4G显存
2.软件平台
vc++ 2019
win10
ONNX onnxruntime1.10
ONNX onnxruntime1.6 GPU
Opencv 4.5.5
OpenVINO 2022.1
3.YOLO模型
1.官网下载:yolov5s.onnx
2.Openvion 优化模型:yolov5s.xml
模型输入大小为640*640
测试效果图:
性能比较:
框架 | 硬件 | 模型 | 结果 |
---|---|---|---|
opencv DNN | CPU | yolov5s.onnx | 207ms |
ONNX onnxruntime | CPU | yolov5s.onnx | 104ms |
ONNX onnxruntime | GPU | yolov5s.onnx | 52ms |
openvino | CPU | yolov5s.onnx | 127ms |
openvino | GPU-UHD620 | yolov5s.onnx | 72ms |
openvino | CPU | yolov5s.xml | 99ms |
openvino | GPU-UHD620 | yolov5s.xml | 66ms |
结果说明:
1.Opencv DNN采用的图像预处理方式是和其他的图像预处理方式不一样
2.后处理的统一才用Opencv的NMS来处理
3.ONNX的GPU硬件为NVDIA Quadro P620 4G显存
测试代码
https://github.com/hong3731/yolov5-opencv