时光机 °的博客

论文地址：Data-Driven Sparse Structure Selection for Deep Neural Networks代码地址：Pytorch，MXNet，Tensorflow论文总结  本文是结构化裁剪模型的一种方法。其引入额外的尺度因子λ\lambdaλ来对不同维度的输出进行自适应训练（即Data-Driven的意思），通过对尺度因子进行稀疏化约束，得到可以安全裁剪的对象。  作者把本文方法认为是一次到底的，即不需要再retrain的，只裁剪对应尺度因子为0的结构。  尺度因

论文地址：Network Slimming论文总结  本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。  文中的方案为：在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子；裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】对得到的模型进行fine-tune

论文地址：https://arxiv.org/abs/1810.05270论文总结  论文的中心思想其实就一句话：在通过Prune算法得到了压缩模型后，使用来自大网络的权重进行fine-tune，还不如直接随机初始化训练压缩模型。但需要注意的是，随机初始化训练压缩模型，需要比训练大模型使用更多的epochs，才能获得更好的效果。论文摘要  作者通过数个网络和数据集的prune 测试，得到了三个观察和结论：如果有一个确定的“压缩”模型，训练一个大网络不是必要的；在prune算法中，我们所认为“重