模型量化——基础知识 & LSQ论文阅读

  感谢陈老师给的机会，有幸能够参加2020年的DAC比赛。我在其中负责目标检测器的调试和量化。自己第一次接触量化这个任务，很多东西都是一点一点学。

一、量化基础

  对于一个全精度的值$v$，若量化步长为$s$（也可理解为量化分辨率），正负量化层级（quantization levels ）分别为$Q_P$和$Q_N$。则量化过程为：$$\bar{v}=Int(clip(v/s,-Q_N,Q_P))$$  其中的$v/s$将全精度值映射到了比特空间，进行端侧修剪之后，返回最近距离的整数。若使用$b$表示量化位数，对于Activations对应的无符号数，有$Q_N=0,Q_P=2^b-1$；对于Weights对应的有符号数，有$Q_N=2^{b-1},Q_P=2^{b-1}-1$（正侧缺1项）。
  解量化操作为：$$\hat{v}=\bar{v}\times s$$  量化&运算过程如下图所示：

二、LSQ论文简介

  这篇论文是IBM在2019年的ArXiv上放出来的论文，全名Learned Step Size Quantization。大概思想就是基于均匀量化，让网络自己去寻找每一层合适的量化步长$s$。所以最核心的问题就是如何设定步长关于损失值L的梯度。
  文中给出了解量化值$\hat{v}$关于$s$的偏导的定义：