知乎:一文看懂深度学习模型压缩和加速
模型压缩
网络层面
- 使用各种新型网络,比如可分离卷积,1x1卷积,变换更小的模型结构等降低餐数量
- 有一些共享网络层权重的方法,可以降低模型的存储开销,但是无法降低模型推理消耗的计算量。
参数量化
伪量化
一般的硬件平台需要使用float数字进行计算,因此将模型参数在浮点数级别进行压缩。使用更低的精度代替高精度存储,推理的时候还原为高精度,依然是降低模型的存储开销,但是无法降低模型推理消耗的计算量。
定点化
将浮点数转换为定点数,相对应需要有支持定点化计算的平台框架,比如MNN、XNN等移动端AI框架。
剪枝
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/09b81c287bd6f520a6634aad4022c962.png)
按照剪枝的类型和程度,分为:突触剪枝,神经元剪枝,矩阵剪枝。
蒸馏
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2140c5d7e5067cbb4f78f2da7436effd.png)