本质:
1)量化对象: 1、各层特征图 (通过统计其值分布进行量化) 2、每层卷积核(通过参数分布进行量化)
2)bias 可去掉的理论依据: 利用对称量化(卡阈值,令其正负两端都是该值),使其关于中心点对齐。
1.方案介绍
2、总结方法:
量化方式: 二值化网络,三值化网络,深度压缩
深度压缩包括(针对Alexnet ,VGG这种冗余的网络来说效果不错,但对于squeezenet,mobilenet 来说效果不佳):
1) 剪枝: 参数小于阈值的归0
难点: 由于剪枝是将参数彻底抛弃,因此,剪掉权重不再接受任何的梯度。从而使得网络参数变成一个稀疏矩阵。
在训练过程中,由于小参数不断被剪枝,为了持续增大压缩率,阈值的设定必须不断增大(引出了一个算法,基于准确率损失和压缩率上升的公式)
2)量化 :将接近的值变成一个数。高度稀疏化后我们还可以对非零参数进行定点压缩。
二值化网络:
Float 32 ——> 正负1 :
<