深度神经网络压缩

目前深度学习模型压缩方法的研究主要可以分为以下几个方向： 
更精细模型的设计，目前的很多网络都具有模块化的设计，在深度和宽度上都很大，这也造成了参数的冗余很多，因此有很多关于模型设计的研究，如SqueezeNet、MobileNet等，使用更加细致、高效的模型设计，能够很大程度的减少模型尺寸，并且也具有不错的性能。 
模型裁剪，结构复杂的网络具有非常好的性能，其参数也存在冗余，因此对于已训练好的模型网络，可以寻找一种有效的评判手段，将不重要的connection或者filter进行裁剪来减少模型的冗余。 
核的稀疏化，在训练过程中，对权重的更新进行诱导，使其更加稀疏，对于稀疏矩阵，可以使用更加紧致的存储方式，如CSC，但是使用稀疏矩阵操作在硬件平台上运算效率不高，容易受到带宽的影响，因此加速并不明显。 
除此之外，量化、Low-rank分解、迁移学习等方法也有很多研究，并在模型压缩中起到了非常好的效果。
 

介绍：

 

1. pruning：对网络进行剪枝，只保留重要的连接
2. train quantization：通过参数共享量化权重矩阵
3. huffman coding：对量化值进行huffman编码，进一步压缩。

整个网络在不影响性能的情况下，能够将参数量降低到原来的1/49~1/35。 

网络剪枝

在深度学习训练的过程中，会学到连接的参数。剪枝的方法是：连接的权值小于一定阈值的直接移除，最终就得到了稀疏的网络连接。剪枝这一步骤能够将VGG-16（AlexNet)参数降低到原来的1/13(1/9)。 

稀疏矩阵用compressed sparse row(CSR)和compressed sparse column(CSC)的格式进行压缩，总共需要2a+n+1个存储单元，a是非零元素个数，n是行数或者列数。 
网络剪枝的过程如figure 2所示：

一个4*4的矩阵可以用一维16数组表示，剪枝时候，只保留 权值大于指定阈值的数，用相对距离来表示，例如idx=4和idx=1之间的位置差为3，如果位置差大于设定的span，那么就在span位置插入0。例如15和4之间距离为11大于span（8），所以在4+8的位置插入0，idx=15相对idx=12为3。这里span阈值在卷积层设置为8，全连接层为5。

共享量化权重矩阵

上图假定某层有4个输入单元4个输出单元，权重矩阵为4*4，梯度同样为4*4。

假设权重被量化为4类，用四种颜色标识。用每类量化的值代表每类的权值，得到量化后的权值矩阵。用4个权值和16个索引就可以计算得到4*4权重矩阵连接的权值。梯度矩阵同样量化为4类，对每类的梯度进行求和得到每类的偏置，和量化中心一起更新得到新的权值。 
压缩率计算方法如下公式所示：

公式（1）n代表连接数，b代表每一个连接需要b bits表示，k表示量化k个类，k类只需要用个bit表示，n个连接需要索引，还需要用log2（k）表示量化中心的数值。

霍夫曼编码

聚类中心，需要用的bit作为索引，这里可以使用变长的huffman编码进一步压缩。figure 5显示了压缩前和压缩后的长度分布。