Residual Squeeze VGG16

本人在学习深度压缩方面的知识，刚开始多久，自己建了一个QQ群希望能和大家一起讨论学习深度压缩加速的知识。

QQ群：621888628

1.本文的贡献：

使用SQUEEZENET改进的Fire Module即（ResSquVGG16）来压缩VGG16模型，在MIT Places365标准场景数据集上训练。在精度变化不大的情况下将训练时间减少了23.86％，模型大小缩小了88.4％。

 

2.方法

 设计原则：

 （1）3x3的卷积核替换为1x1的卷积核

从12年的AlexNet模型到15年ResNet模型，卷积核大小基本上都选择在3x3了，因为其有效性，以及设计简洁性。替换3x3的卷积kernel为1x1的卷积kernel可以让参数缩小9倍。但为了不影响识别精度，并不是全部替换，而是一部分用3x3，一部分用1x1。