EagleEye：一种用模型剪枝的快速衡量子网络性能的方法

本文首发于PandaCV公众号。

导语：模型剪枝算法核心在于找到“不重要”的参数并且实现裁剪。为寻找到较优的剪枝策略，我们往往需要尝试多种剪枝策略和剪枝策略性能评估。通常剪枝策略评估方法是将剪枝后的模型训练到收敛或者训练规定好数量epoch后进行性能比较。不管是人工调试剪枝策略还是自动搜索剪枝策略，都需要多次评估剪枝策略。剪枝策略的评估效率一定程度上影响了整体压缩效率。因此，本文提出了一种能够快速衡量剪枝后模型性能的方法，经实验能够对MobilenetV1减少50%的FLOPs情况下，仍能保证在Imagenet数据集上Top1精度达到70.9%。

论文链接：https://arxiv.org/abs/2007.02491

论文repo：https://github.com/anonymous47823493/EagleEye

引言

随着AI技术的发展，人们对于AI的需求也越发多样化。在手机端、嵌入式设备上部署模型的需求已经十分普遍。一般移动端、嵌入式设备无法满足神经网络的计算需求。因此，我们一般需要利用模型压缩技术，尽量不影响模型性能的前提下，减少模型的参数量和计算量，使其满足硬件的限制。

• 将剪枝后模型训练至收敛后，评估网络性能。
• 将剪枝后模型训练规定数量epoch后，评估网络性能。
• 直接对剪枝后的模型评估性能

当