一、引言
前面的博文,是PTQ的注意事项。本篇文章是记录QAT部分需要修改的一些要点。
注:本文仅供自己的笔记作用,防止未来自己忘记一些坑的处理方式
QAT的大致流程:(1)训练生成基础模型,通常是fp32的pt文件;(2)为fp32的pt文件插入伪量化节点;(3)PTQ获取初步int8校准模型;(4)QAT(量化感知训练),大约10几个epoch就够了,反正就是不需要像 from scratch那种长时间训练;(5)导出onnx文件
二、注意事项
2.1
注意这里在模型准备阶段。自己手动添加yaml超参数文件,这个随便一个都可以
2.2