超级会员免费看
本文介绍了基于Post-Training-Quantization (PTQ)的YOLOv5n模型量化过程，包括PTQ流程、量化误差敏感层分析以及具体量化代码的详细讲解。在PTQ后，模型在保持一定精度的同时，推理速度得到显著提升。文章还提供了关键代码段和校准模型的创建方法，并强调了Detect层在量化过程中的特殊处理。
1. Post-Training-Quantization(PTQ)流程
Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。以INT8量化为例，PTQ处理流程如下：
- 1). 首先在数据集上以
FP32精度进行模型训练，得到训练好的baseline模型。 - 2). 使用
小部分数据（校准集）对FP32 baseline模型进行calibration（校准），这一步主要是得到网络各层weights以及activation的数据分布特性（比如统计最大最小值）； - 3). 根据2.中的数据分布特性，
计算出网络各层、量化参数； - 4). 使用3.中的量化参数对FP32 baseline进行量化得到
INT8模型，并将其部署至推理框架进行推理；
订阅专栏 解锁全文
扫一扫
636
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
