参考链接:https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/
主要思想:
作者的方法分为三个步骤:
- Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度
- Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0(即所谓剪枝)
- Re-Train: 重新训练,以期其他未被剪枝的权重能够补偿pruning带来的精度下降
怎么训练?
剪枝前,使用L1或者L2正则化对模型参数进行约束。L1剪枝后,不训练的模型效果更好。但是按照L2训练,剪枝之后重新训练,恢复的准确率更高。
Dropout的选择?
在重新训练的时候,需要将dropout的比例调低。