每日论文231018--The Lottery Ticket Hypothesis

在模型剪枝（network pruning）的问题中，通常会使用基于原有模型训练好的权重进行pruning，然后finetune的方式，获得压缩后的模型。

而这篇文章的作者提出，

A randomly-initialized, dense network contains a subnetwork that is initialized such that - when trained in isolation -- it can match the test accuracy of the original network after training for at most the same number of iterations.

也就是说经过剪枝得到的小模型，除了通过finetune的方式获得权重外，也可以从随机初始化开始训练，并且也可以得到和大模型相近的效果。

但是，如何让大模型寻找到需要prune的weights，这依旧需要大模型的训练。此外，这个只能基于cifar-10等小数据，在imagenet中表现不佳。