在模型剪枝(network pruning)的问题中,通常会使用基于原有模型训练好的权重进行pruning,然后finetune的方式,获得压缩后的模型。
而这篇文章的作者提出,
A randomly-initialized, dense network contains a subnetwork that is initialized such that - when trained in isolation -- it can match the test accuracy of the original network after training for at most the same number of iterations.
也就是说经过剪枝得到的小模型,除了通过finetune的方式获得权重外,也可以从随机初始化开始训练,并且也可以得到和大模型相近的效果。
但是,如何让大模型寻找到需要prune的weights,这依旧需要大模型的训练。此外,这个只能基于cifar-10等小数据,在imagenet中表现不佳。