一、简介
近些年来深度学习在计算机视觉方面取得了突飞猛进的发展,但是目前深度学习存在着一个非常严重的问题就是模型过大,对计算资源的需求太多,所以目前深度学习在移动端的应用还比较有限。为此网络压缩成为了神经网络研究的一个重点,一般神经网络的压缩方法有对网络的裁剪、网络的量化等,而从网络的设计上来进行考虑,从根本上减少网络的冗余,也是网络压缩的重要手段,本文所介绍的squeezenet就是从这方面来解决网络模型较大的问题的,相比于Alexnet,它能够减少50倍参数的情况下达到同样的识别准确率,因此该网络也是移动端使用比较多的物体识别网络。
二、网络设计
1、本文主要根据以下三个方面来设计网络,从而减少网络的参数
(1)、使用1x1的卷积核来代替3x3的卷积核,从而能将卷积核的参数减少9倍
(2)、减少3x3卷积的通道数,每一层的卷积参数为(输入通道数*滤波器个数*(3*3)),因此减少输入通道数的个数,可以大大减少参数。
(3)、卷积神经网路中大的激活图能够有更高的准确率,因此在网络的后面进行下采样,以便卷积层能够有更大的激活图从而保证网络有较高的识别准确率。
文中指出第1、2步可以在保证模型识别准确率的情况下来尽量的减少参数的数量,而第三步可以在参数受限的情况下来最大化模型的准确率。
2、根据上面的这三条经验,作者设计了名为FIRE的模块,整个模块如图1所示。从图中可以看出FIRE模块可以分为两部分,一部分为squeeze layer,文中用