本文探讨了在深度学习模型压缩中，如何改进Quantize Aware Training（QAT）。通过Alpha-Blending（AB）、QuantNoise和全精度辅助模块等方法，减少对Straight-Through Estimator（STE）的依赖，提高低精度模型训练的稳定性和精度。AB算法通过权重混合避免使用STE，QuantNoise随机量化部分权重，全精度辅助模块则利用全精度分支增强梯度来源，从而改善量化模型的训练效果。
原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_improved_qat
欢迎引用&转载，但烦请注明出处~
Quantize Aware Training(QAT)通过在训练过程中融入量化和反量化过程，来实现量化模型的精度恢复，但考虑一下量化过程
w q = q ( w ) = α ⋅ C l a m p ( R o u n d ( w α ) ) w_q = q(w) = \alpha \cdot Clamp(Round(\frac{w}{\alpha})) wq=q(w)=α⋅Clamp(Round(αw))
∂ L ∂ w = ∂ L ∂ w q ⋅ ∂ w q ∂ w ≈ S T E ∂ L ∂ w q ⋅ 1 = ∂ L ∂ w q \frac{\partial L}{\partial w} = \frac{\partial L}{\partial w_q} \cdot \frac{\partial w_q}{\partial w} \mathop{\approx} \limits_{STE} \frac{\partial L}{\partial w_q} \cdot 1 = \frac{\partial L}{\partial w_q} ∂w∂L=∂wq∂L⋅∂w∂wqSTE≈
最低0.47元/天 解锁文章
扫一扫
462
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
