嵌入式算法移植优化学习笔记4——模型压缩和剪枝

模型部署的三大挑战

1.模型大小：CNN优异的性能表现来源于上百万可训练的参数。那些参数和网络结构信息需要被存储到硬盘，然后在推理期间加载到内存中。模型较大对于嵌入式设备来说是一个很大的负担；
2.运行时占用内存：在推理期间，CNN的中间激活值/响应存储空间甚至需要比存储模型参数的大，即使batchsize是1.这对于高性能的GPU来说不是问题，但对于低计算能力的许多应用来说这是不可承担的；
3.计算量：在高分辨率图片上卷积操作可能会计算密集，一个大的CNN在嵌入式设备上可能要花费几分钟来处理一张单个图片，这使得在真实应用中采用很不现实

参考：
1、https://www.cnblogs.com/chumingqian/articles/11505153.html
2、https://blog.csdn.net/qq_38109843/article/details/107234801
3、https://blog.csdn.net/moxibingdao/article/details/106666957
4、网课：https://edu.csdn.net/learn/29887
5、浅析张量分解（Tensor Decomposition）
6、network sliming:加快模型速度同时不损失精度