- 目前深度学习模型压缩方法主要分为更精细化模型设计、模型裁剪、核的稀疏化、量化、低秩分解、迁移学习等方法,而这些方法又可分为前端压缩和后端压缩
27.1 前端压缩和后端压缩对比
对比项目 | 前端压缩 | 后端压缩 |
---|---|---|
含义 | 不会改变原始网络结构的压缩技术 | 会大程度上改变原始网络结构的压缩技术 |
主要方法 | 知识蒸馏、紧凑的模型结构设计、滤波器层面的剪枝 | 低秩近似、未加限制的剪枝、参数量化、二值网络 |
实现难度 | 较简单 | 较难 |
是否可逆 | 可逆 | 不可逆 |
成熟应用 | 剪枝 | 低秩近似、参数量化 |
待发展应用 | 知识蒸馏 | 二值网络 |
27.2 网络剪枝
深度学习模型因其稀疏性,可以被裁剪为结构精简的网络模型,具体包括结构性剪枝与非结构性剪枝。
事项 | 特点 | 举例 |
---|---|---|
非结构化剪枝 | 通常是连接级、细粒度的剪枝方法,精度相对较高,但依赖于特定算法库或硬件平台的支持 | Deep Compression, Sparse-Winograd算法等; |
结构化剪枝 | 是filter级或layer级、粗粒度的剪枝方法,精度相对较低,但剪枝策略更为有效&#x |