1.before
目前深度网络模型压缩方法主要有以下几个方向:
- 更精细的模型设计:SqueezeNet、MobileNet等
- 模型裁剪:队训练好的模型找到一种评价手段,剔除不重要的 connections 和 filrers
- 核稀疏: 训练过程中对权重更新进行诱导,让其稀疏。使用稀疏矩阵在硬件上效果不明显
2.基于核稀疏方法
核的稀疏分为 regular 和 irregular ,regular 稀疏后,裁剪更容易, irregular的稀疏化后,参数需要特定的存储方式,或者需要平台上稀疏矩阵操作库的支持,
可以参考的论文有:
提出Structured Sparsity Learning的学习方式,能够学习一个稀疏的结构来降低计算消耗,所学到的结构性稀疏化能够有效的在硬件上进行加速
该方法是regular的方法,压缩粒度较粗,可以适用于各种现成的算法库,但是训练的收敛性和优化难度不确定。
一种动态的模型裁剪方法,包括以下两个过程:pruning和splicing,其中pruning就是将认为不中要的weight裁掉,但是往往无法直观的判断哪些weight是否重要,因此在这里增加了一个splicing的过程,将哪些重要的被裁掉的weight再恢复回来
在W上增加一个T来实现,T为一个2值矩阵,起到的相当于一个mask的功能,当某个位置为1时,将该位置的weight保留,为0时,裁剪。
接相结合、训练与压缩相同步的策略完成网络压缩任务。通过网络嫁接操作的引入,避免了错误剪枝所造成的性能损失,从而在实际操作中更好地逼近网络压缩的理论极限。属于irregular的方式,但是ak和bk的值在不同的模型以及不同的层中无法确定,并且容易受到稀疏矩阵算法库以及带宽的限制 源码、