"The Lottery Ticket Hypothesis Finding Sparse, Trainable Neural Networks" 这篇文章提出了Lottery Ticket Hypothesis,认为较复杂的深度神经网络存在一个比较优化的稀疏子网络结构(称之为winning tickets),可应用于模型压缩。相比于原网络,稀疏子网络的参数量与复杂度要低许多,但推理精度基本相当。Lottery Ticket Hypothesis描述如下:
Lottery Ticket Hypothesis用符号方式描述如下:
其中剪枝获得的子网络从随机初始化开始训练,且初始化数值一一对应地取自原网络的初始化数值集合,即;另外,子网络训练达到收敛的迭代次数,不超过原网络所需的迭代次数。如果子网络的初始化数值不取自原网