全局剪枝-层崩溃

一、剪枝步骤

从广义上讲,初始化时的剪枝算法由两个步骤定义：
第一步根据一 些度量对网络的参数进行评分,
第二步根据它们的分数掩盖参数(删除或保留参数) .
我们考 虑的剪枝算法总是通过简单地删除得分最小的参数来掩盖参数。此排名过程可以在网络上全局应用，也可以逐层应用。经验表明,全局掩码的性能远优于层掩码,部分原因是它引入了更少的超参数,并允许跨网络进行灵活的剪枝率[24]。

二 全局掩码问题

最近的工作[33, 14, 34]已经确定了一种关键故障模式,即层崩溃,用于使用全局掩蔽的现有修剪算法。当算法修剪单个权重层中的所有参数时,即使可修剪参数保留在网络中的其他位置,也会发生层崩溃.这使得网络无法训练,网络可实现的准确度突然下降很明显,如图1所示。

[24] Davis Blalock, Jose Javier Gonzalez Ortiz, Jonathan Frankle, and John Guttag. What is the
state of neural network pruning? arXiv preprint arXiv:2003.03033, 2020.
[33] Namhoon Lee, Thalaiyasingam Ajanthan, Stephen Gould, and Philip H. S. Torr. A signal propagation perspective for pruning neural networks at initialization. In International Conference on
Learning Representations, 2020.
[34] Soufiane Hayou, Jean-Francois Ton, Arnaud Doucet, and Yee Whye Teh. Pruning untrained
neural networks: Principles and analysis. arXiv preprint arXiv:2002.08797, 2020
[14] Chaoqi Wang, Guodong Zhang, and Roger Grosse. Picking winning tickets before training by
preserving gradient flow. In International Conference on Learning Representations, 2020.