paddlepaddle学习之模型压缩 PaddleSlim

1.模型压缩主要有以下四个方面：
剪裁 卷积通道数剪裁 （将大规模的参数量变少）
量化 将float32计算变成int 计算 （计算量及模型体积减少）
蒸馏 将大规模的知识迁移到小模型上 （将小模型的精度提高）
nas 以模型大小和推理速度为约束的模型结构搜索（设计更高效的网络结构）
1.1卷积通道裁剪主要是裁减掉不重要的冗余的卷积参数，目的是为了减少参数量，加快推理速度。
参数的重要性评估有两个层面，一个是敏感度评估卷积层整体的重要性，就是通过调整裁剪比例来获取不同比例对准确率的影响，另一个是L1_norm评估卷积层内通道的重要性，即通过比较裁剪单个卷积核不同通道对准确率的影响，通过这两个层面对通道更好地进行裁剪。
1.2量化

1.3知识蒸馏
知识蒸馏是将复杂网络（老师模型）的知识迁移到小网络（学生模型）中以提高小网络的精度。方法是使用老师模型的输出信息监督学生模型的训练
1.4NAS
NAS（network architecture search）是一种自动设计神经网络的技术，根据搜索空间使用一定的搜索算法来自动设计出高性能的网络结构以自动设计出高效的网络结构
PaddleSlim是一个模型压缩工具，专注模型小型化技术裁剪，量化，蒸馏，nas在分类、检测、分割任务上都验证了效果实际业务中表现不俗4个方法可以叠加使用，比如先裁剪再蒸馏再量化。
2.总结：裁剪量化减少体积，提高运算效率，蒸馏提高精度，NAS寻找合适网络