【模型量化】——LSQ-Net: Learned Step Size Quantization论文

亮点:ICLR2020
论文:https://arxiv.org/pdf/1902.08153.pdf
code：非官方实现

摘要
在推理时以低精度操作运行的深层网络具有比高精度替代方案更强大的功耗和空间优势，但是需要克服随着精度降低而保持高精度的挑战。在这里，我们提出了一种用于训练此类网络的方法，即“学习步长量化”，该方法可以在使用模型时在ImageNet数据集上实现迄今为止最高的准确性。各种架构，权重和激活量化为2位，3位或4位精度，并且可以训练达到完全精度基准精度的3位模型。我们的方法建立在现有方法的基础上，可通过改进量化器本身的配置来学习量化网络中的权重。具体来说，我们引入了一种新颖的方法来估算和缩放每个权重下的任务损失梯度以及激活层的量化器步长，以便可以与其他网络参数一起学习。这种方法可以使用给定系统所需的不同级别的精度，并且只需要简单修改现有的培训代码即可。