yolov5量化注意事项

最新推荐文章于 2023-11-08 00:21:28 发布

曙光_deeplove

最新推荐文章于 2023-11-08 00:21:28 发布

阅读量1.6k

点赞数 2

分类专栏： YOLOV5 深度学习算法部署文章标签：深度学习模型量化

本文链接：https://blog.csdn.net/yangjinyi1314/article/details/128073343

版权

深度学习算法部署同时被 2 个专栏收录

28 篇文章 16 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

YOLOV5

10 篇文章 7 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了YoloV5模型量化过程中的关键步骤，包括使用特定版本的onnxsim和ort进行模型转换，利用trtexec生成INT8和FP16的engine，并对比了两者在推理速度上的差异。通过绘制engine图和性能分析图表，展示了量化对模型性能的影响，证实了INT8加FP16的组合在速度上优于单纯的INT8量化。

摘要由CSDN通过智能技术生成

（1）使用onnxsim ==0.4.1版本、ort版本1.13.1

否则使用--dynamic True时所生成的onnx就会乱掉。

（2）利用trtexec生成engine

所使用的命令如下：

trtexec.exe --onnx=yolov5n_ptq_detect_dynamic.onnx --saveEngine=ptq_int8_fp16.trtmodel --int8 --fp16

 === Trace details ===
[11/28/2022-01:21:54] [I] Trace averages of 10 runs:
[11/28/2022-01:21:54] [I] Average on 10 runs - GPU latency: 10.0542 ms - Host latency: 11.208 ms (end to end 35 ms, enqueue 1.81131 ms)
[11/28/2022-01:21:54] [I] Average on 10 runs - GPU latency: 9