#今日论文推荐#CVPR 2022 | 升级传统模型量化STE反向求导? CMU，脸书，港科提出新思路

#今日论文推荐#CVPR 2022 | 升级传统模型量化STE反向求导? CMU，脸书，港科提出新思路

量化是广范采用的模型压缩算法之一，但量化网络的优化难点在于如何对离散的量化函数求梯度。目前大多数量化算法都是在2013年Bengio 提出的STE的直通导数拟合的基础上改变前向传播函数，而对于反向求导函数STE的研究少之又少。
这篇文章创新性地从概率量化的角度分析了STE的推导过程，从而拓展STE从一次性直通所有量化区间，变成每个量化区间各自计算直通函数，得出了更合理更适合量化函数的反向拟合方法，大大增加了量化函数的设计灵活度。
基于此，作者设计了量化区间可学量化输出均匀固定的量化器(Nonuniform-to-Uniform Quantization (N2UQ))，可以同时结合均匀量化的输出均匀利于硬件加速的优点，和非均匀量化的输入可学增加网络拟合能力的优点。

论文题目：Nonuniform-to-Uniform Quantization: Towards Accurate Quantization via Generalized Straight-Through Estimation
详细解读：https://www.aminer.cn/research_report/6268a2847cb68b460fa9e30d?download=falsehttps://www.aminer.cn/research_report/6268a2847cb68b460fa9e30d?download=false
AMiner链接：https://www.aminer.cn/?f=cs