WHAT IS THE STATE OF NEURAL NETWORK PRUNING?
Source:https://arxiv.org/abs/2003.03033
一、摘要:
缺乏标准化的基准和度量标准,以至于很难比较不同的剪枝技术,提出具体的补救措施,并引入ShrinkBench,一个框架来促进修剪方法的标准化评估。
尝试去回答:
哪种技术能最好地兼顾精确性和效率?
在特定的架构或数据集上,是否有最有效的策略?
哪种高级设计选择是最有效的?
二、存在的问题
通过调研81篇论文。(语料库包括2010年以来发表的79篇剪剪论文和两篇经典论文。)
发现,的确,基于其参数大小的剪枝实质上压缩了网络而不降低精度,而且许多剪枝方法的性能优于随机剪枝。
但是,
很少有论文互相比较,而且论文之间的方法是不一致,自己很难进行比较。
例如,四分之一的论文与没有其他修剪方法相比,一半的论文与最多一种其他方法相比,还有几十种方法从未被任何后续工作进行过比较。数据集/网络对甚至在三分之一的论文中都没有出现,评估指标差异很大,超参数和其他混杂因素也各不相同或未指定。
三、什么是网络剪枝?
剪枝算法的一般流程:
首先训练网络的收敛性。然后对网络中的每个参数或结构元素给出一个分数,并根据这些分数对网络进行剪枝。修剪会降低网络的准确性,因此需要进一步训练(称为微调)来恢复。修剪和微调的过程通常要重复多次,从而逐渐减小网络的规模。