神经网络剪枝行不行？-【Network Pruning发展近况】

WHAT IS THE STATE OF NEURAL NETWORK PRUNING?

Source：https://arxiv.org/abs/2003.03033

一、摘要：

缺乏标准化的基准和度量标准，以至于很难比较不同的剪枝技术，提出具体的补救措施，并引入ShrinkBench，一个框架来促进修剪方法的标准化评估。

尝试去回答：

哪种技术能最好地兼顾精确性和效率?

在特定的架构或数据集上，是否有最有效的策略?

哪种高级设计选择是最有效的?

二、存在的问题

通过调研81篇论文。(语料库包括2010年以来发表的79篇剪剪论文和两篇经典论文。)

发现，的确，基于其参数大小的剪枝实质上压缩了网络而不降低精度，而且许多剪枝方法的性能优于随机剪枝。

但是,

很少有论文互相比较，而且论文之间的方法是不一致，自己很难进行比较。

例如，四分之一的论文与没有其他修剪方法相比，一半的论文与最多一种其他方法相比，还有几十种方法从未被任何后续工作进行过比较。数据集/网络对甚至在三分之一的论文中都没有出现，评估指标差异很大，超参数和其他混杂因素也各不相同或未指定。

三、什么是网络剪枝？

剪枝算法的一般流程：

首先训练网络的收敛性。然后对网络中的每个参数或结构元素给出一个分数，并根据这些分数对网络进行剪枝。修剪会降低网络的准确性，因此需要进一步训练(称为微调)来恢复。修剪和微调的过程通常要重复多次，从而逐渐减小网络的规模。