卷积神经网络的压缩

参考：《解析深度学习——卷积神经网络原理与视觉实践》

网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

一、模型压缩原因

巨大的存储代价以及计算开销,严重制约了深度网络在移动端等小型设备上的应用；

模型内部参数存在着巨大的冗余。

二、据压缩过程对模型结构破坏程度进行模型压缩技术分类

前端压缩：指不改变原网络结构的压缩技术,主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等。

后端压缩：包括低秩近似、未加限制的剪枝、参数量化以及二值网络等，目标在于尽可能减小模型大小，因而对原始网络结构极大程度的改造。

两种压缩技术可以相互结合,将“前端压缩”的输出作为“后端压缩”的输入,能够在最大程度上减少模型的复杂度。

三、不同操作方法

（1）低秩表示

基本思想：用若干个小规模矩阵近似重构权重矩阵。

• 使用结构化矩阵来进行低秩分解的算法
• 直接使用矩阵分解来降低权重矩阵的参数

存在问题：
低秩近似算法在中小型网络模型上取得了很不错的效果,但其超参数量与网络层数呈线性变化趋势，随着网络层数的增加与模型复杂度的提升,其搜索空间会急剧增大。当面对大型神经网络模型时,是否仍能通过近似算法来重构参数矩阵,并使得性能下降保持在一个可接