【DeepCV】模型压缩

Backto DeepCV

模型压缩，或曰 精简网络设计，目的是压缩一个模型，让它可以更好的部署到手机、无人机、FPGA 等上面去。当然前提是保证精度差不多，但是模型小了，功耗低了，在嵌入式上跑起来就顺畅了。

大致流程是:

input: pre-trained model
process: a mixed formula of pruning/distillation/quantization/etc...
output: compact model

Network Pruning

被广泛用于降低CNN的模型复杂度与计算量。典型的剪枝算法pipeline通常有三个阶段，首先训练一个大型模型，然后进行剪枝和最后微调。在剪枝过程中，根据一定的标准，对冗余权重进行修剪并保留重要权重，以最大限度地保持精确性。普遍观念认为模型压缩通常能大幅减少参数数量，压缩空间，从而降低计算量。

在 Liu, Zhuang, et al. "Rethinking the Value of Network Pruning."arXiv preprint arXiv:1810.05270(2018) 中，作者在这篇论文里，发现了几个与普遍观念相矛盾的的观察。他们了试验了几种剪枝算法，发现对剪枝后的模型进行fine tuning，只比使用随机初始化权重训练的网络的性能好一点点，甚至性能更差。文章认为自动剪枝算法的价值在于识别有效的结构和执行隐式架构搜索（implicit