模型压缩和加速，量化

本质：

1）量化对象： 1、各层特征图 （通过统计其值分布进行量化）   2、每层卷积核（通过参数分布进行量化）

2）bias 可去掉的理论依据： 利用对称量化（卡阈值，令其正负两端都是该值），使其关于中心点对齐。

 

 

1.方案介绍

 

2、总结方法：

量化方式： 二值化网络，三值化网络，深度压缩

深度压缩包括(针对Alexnet ,VGG这种冗余的网络来说效果不错，但对于squeezenet,mobilenet 来说效果不佳）：

1） 剪枝： 参数小于阈值的归0

               难点： 由于剪枝是将参数彻底抛弃，因此，剪掉权重不再接受任何的梯度。从而使得网络参数变成一个稀疏矩阵。

                            在训练过程中，由于小参数不断被剪枝，为了持续增大压缩率，阈值的设定必须不断增大（引出了一个算法，基于准确率损失和压缩率上升的公式）

 

2）量化 ：将接近的值变成一个数。高度稀疏化后我们还可以对非零参数进行定点压缩。

 

二值化网络：

Float 32 ——> 正负1  : 

<