网络模型int8量化中使用的一些量化方法

1. 概述

前言：这篇博客中涉及到的是网络在做int8 infer时候涉及到的量化方法，这里并不涉及到int8训练的东西，这篇文章涉及到的量化方法主要来自于：Quantizing deep convolutional networks for efficient inference: A whitepaper。

深度学习中网络的加速主要有如下的几种方式：

• 1）设计高效且小的网络，如MobileNet系列、shuffleNet系列、VoVNet等；
• 2）从大的模型开始通过量化、剪裁、蒸馏等压缩技术实现网络的小型化；
• 3）在inference阶段使用特殊的计算库实现计算的加速，比如MKL、TensorRT等；

在上面的方法中最简单的方法就是降低模型运算过程中的bits数量，降低到16bits、8bits甚至2bits。这样做具有如下的优点：

• 1）在众多的使用场合与模型中可以广泛使用，并不需要设计再设计特殊的网络结构，而且量化是从训练好的模型上进行的，并不需要重训练，且损失精度比较少。目前现有的大部分硬件计算资源都是支持这样的运算模式的，因而也不需要重新设计专门的硬件；
• 2）模型量化可以显著减少模型的尺寸大小，理论上可以减少模型的尺寸4倍，并且模型的性能损失很小；
• 3）使用更低bits数的模型可以减少在运算过程中的内存与缓存消耗；
• 4）大多数的处理器对8bits的运算更快；
• 5）8bits的计算拥有更好的实现效率，因而进行对应的计算所消耗的能量更少；

2. 量化的方法

2.1 Uniform Affine Quantizer

将范围在$(x_{min},x_{max})$之间的浮点数字映射到规定的范围 ( 0 , N l e v e l s − 1 ) ,