通过训练获得最优量化区间——Quantization Interval Learning

"Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss" 这篇文章提出了通过训练获得最优量化器的方法（QIL: Quantization Interval Learning），能够为网络权重与激活的量化，找到最优的量化区间或量化器参数。针对指定的训练任务，比如ImageNet图像分类任务，首先设计可训练、参数化的量化器；然后在训练过程中（最小化task loss），同时更新网络的浮点权重以及量化器的可训练参数，最终获得能够很好的适应指定任务的量化策略，且量化位宽低至2bits时，仍能维持较高的推理精度。

QIL量化策略如上图所示，量化区间表示执行量化操作的数值范围，其中pruning操作将低于pruning阈值的数值置零，clipping操作将高于clipping阈值的数值置1。显然当量化等级固定时，量化区间越小，量化分辨率（quantization resolution）越好。决定量化区间的参数是可训练的，包括量化区间的中心与偏离中心的距离