EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning（论文阅读）

说明

找出训练好的深度神经网络(DNN)的计算冗余部分是剪枝算法要解决的关键问题。许多算法都试图通过引入各种评估方法来预测修剪后的子网的模型性能 。在这个工作中，我们提出了一种称为EagleEye的剪枝方法，其中使用了一个基于自适应批归一化adaptive batch normalization 的简单而有效的评估组件，以揭示不同的修剪DNN结构与其最终确定精度之间的强相关性。这种强相关性使我们能够以最高的潜在准确率快速发现修剪后的候选对象，而无需实际对它们进行微调。该模块对一些已有的剪枝算法也具有通用性，便于插件化和改进。在我们的实验中，EagleEye获得了比所有研究的剪枝算法都要好的剪枝性能。具体而言，要修剪MobileNet V1和ResNet-50，EagleEye的性能要比所有比较方法高出 3.8 ％ 3.8％