论文阅读笔记(一)——SqueezeNet

论文阅读笔记(一)——SqueezeNet

前言

寒假希望自己能够有所提升吧，不要再当一个简单地代码搬运工，所以希望自己能够坚持下来每天阅读一些文章，然后进行总结，冲冲冲

1 论文简介

1.1关于文章

论文全称: SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

这里提供几个链接，大家可以自己下载下来学习
百度网盘
链接：论文原文
提取码：huzs
官网链接
论文链接：论文链接
代码链接：代码链接

1.2 关于squeezenet

其实这篇文章相较于后续的其他轻量化网络，其实可以学习借鉴的东西并不多，但是由于这篇属于轻量化网络的开篇之作，最早公开于2016年2月，所以我想借用这次机会，从头学习一下轻量化网络的演变路程，希望可以收获一些感悟

2 文章正文

2.1 摘要

近年来，深度卷积神经网络（CNNs）的研究主要集中在提高精度上。对于给定的精度级别，通常可以识别多个达到该精度级别的CNN架构。在同等精度的情况下，较小的CNN体系结构至少有三个优点：
1)较小的CNN在分布式训练期间需要较少的跨服务器通信。
2) 较小的cnn需要较少的带宽才能将新车型从云端导出到自动驾驶汽车。
3) 更小的CNN更适合部署在FP-GAs和其他内存有限的硬件上。
为了提供所有这些优势，我们提出了一个称为挤压网的小型CNN架构。SqueezeNet在ImageNet上实现AlexNet级精度，参数减少50倍。此外，通过模型压缩技术，我们可以将squezenet压缩到小于0.5MB（比AlexNet小510倍）。
可在此处下载SqueezeNet架构：https://github.com/DeepScale/SqueezeNet

2.2 文章动机 Motivation

其实文章的重点在大多数网络都在往深而精确的网络中改进，但是现实生活中由于计算平台的限制，比如嵌入式系统，比如车载系统中，都没法提供足够的算力来计算大型的CNN网络，而目的方法都是对网络进行剪枝，作者想要提供一种简洁的小型网络，来满足
1)更有效的分布式训练
2)可以将新模型导出到客户端时开销更小
3)可行的FPGA和嵌入式部署
所以提出了squeezeNet模块

3 squeezenet:用较少的参数保持精度

3.1 压缩策略

squeezenet模型主要使用了三个策略

• 将$3\times 3$卷积替换成$1\times 1$卷积。文章中将大多数$3\times 3$卷积替换为$1\times 1$卷积，这使得一个卷积操作的参数两减少了9倍
• 减少$3\times 3$卷积的通道数。一个$3\times 3$卷积的计算量是$3\times 3\times M\times N$其中M是输入Feature Map的通道数，而N是输出Feature Map的通道数，作者希望通过减少M.N来达到减少参数量的目的
• 下采样后置，使卷积层具有较大的activation maps。这个举动会提高网络精度，但是也会增加网络的计算量。在卷积网络中，每个卷积层产生空间分辨率至少为1x1且通常远大于1x1的输出激活图。这些activation maps的高度和宽度由以下因素控制：
  • 输入数据的大小（例如256x256图像）
  • 下采样的位置

3.2 Fire模块

fire模块由以下两部分组成：

• squeeze部分
  • 一组连续的$1\times 1$的卷积
• Expand部分
  • 一组连续的$1\times 1$卷积和一组连续的$3\times 3$卷积cancatnate组成。因此$3\times 3$卷积需要使用same卷积

在fire模块中有三组超参数:$s_{1\times 1}$、$e_{1\times 1}$ 、$e_{3\times 3}$。squeeze部分的$1\times 1$卷积的通道数记作$s_{1\times 1}$。而expand部分$1\times$卷积和$3\times 3$卷积的通道数分别记作$e_{1\times 1}$ 、$e_{3\times 3}$。作者建议使用Fire模块时，$s_{1\times 1}<e_{1\times 1}+e_{3\times 3}$，相当于在$3\times 3$卷积之中加入瓶颈层，有助于限制3x3滤波器的输入通道数量。

下面代码片段是Keras实现的Fire模块，注意拼接Feature Map的时候使用的是Cancatnate操作，这样不必要求 $e_{1\times 1}=e_{3\times 3}$。

def Fire_Model(x, s_1, e_1, e_3, fire_name):
    # squeeze部分
    squeeze_x = Conv2D(kernel_size=(1,1),filters=s_1x1,padding='same',activation='relu',name=fire_name+'_s1')(x)
    # expand部分
    expand_x_1 = Conv2D(kernel_size=(1,1),filters=e_1x1,padding='same',activation='relu',name=fire_name+'_e1')(squeeze_x)
    expand_x_3 = Conv2D(kernel_size=(3,3),filters=e_3x3,padding='same',activation='relu',name=fire_name+'_e3')(squeeze_x)
    expand = merge([expand_x_1, expand_x_3], mode='concat', concat_axis=3)
    return expand

3.3 网络结构

图3是SqueezeNet的几个实现，左侧是不加short-cut的SqueezeNet，中间是加了short-cut的，右侧是short-cut跨有不同Feature Map个数的卷积的。作者在后续还补充了一些其他细节：

1. 激活函数默认都使用ReLU；
2. fire9之后接了一个rate为0.5的dropout；
3. 使用same卷积。
   
   更详细的参数实现图
   

代码实现

def squeezeNet(x):
    conv1 = Conv2D(input_shape = (224,224,3), strides = 2, filters=96, kernel_size=(7,7), padding='same', activation='relu')(x)
    poo1 = MaxPool2D((2,2))(conv1)
    fire2 = Fire_Model(poo1, 16, 64, 64,'fire2')
    fire3 = Fire_Model(fire2, 16, 64, 64,'fire3')
    fire4 = Fire_Model(fire3, 32, 128, 128,'fire4')
    pool2 = MaxPool2D((2,2))(fire4)
    fire5 = Fire_Model(pool2, 32, 128, 128,'fire5')
    fire6 = Fire_Model(fire5, 48, 192, 192,'fire6')
    fire7 = Fire_Model(fire6, 48, 192, 192,'fire7')
    fire8 = Fire_Model(fire7, 64, 256, 256,'fire8')
    pool3 = MaxPool2D((2,2))(fire8)
    fire9 = Fire_Model(pool3, 64, 256, 256,'fire9')
    dropout1 = Dropout(0.5)(fire9)
    conv10 = Conv2D(kernel_size=(1,1), filters=1000, padding='same', activation='relu')(dropout1)
    gap = GlobalAveragePooling2D()(conv10)
    return gap

3.4 模型评估

因为squeezenet其实并不想后面的其他轻量化网络效果那么好，所以作者只是与alexnet进行了对比，使用ImageNet（Deng等人，2009）（ILSVRC 2012）数据集对图像进行分类,使用AlexNet5和相关的模型压缩结果作为比较的基础来评估squeezenet。

详细的实验对比这里也不过多赘述，主要就是与alexnet不同压缩情况进行对比，有兴趣的朋友下来可以看下原文(原文其实实验对比也不是像mobilenet那样还对比了目标检测的任务，可以看看)

总结

SqueezeNet主要的方法是$3\times 3$卷积替换成为$1\times 1$卷积，和减少$3\times 3$卷积的通道数这两种方法来降低参数量，然后通过下采样后置来提供精度，降低卷积被替换而损失的精度。从参数量来说，SqueezeNet的目的已经达到了。但是从效果上来说，其实SqueezeNet的效果其实并不像后面那几篇一样，有这很惊艳的方法。但是由于他算是真正意义上的第一篇轻量化网络，所以大家对此也算比较包容

收获

1. 其实文章目标是嵌入式、车载系统等，以上环境更多追求的是实时性，虽然SqueezeNet减少了参数量，但是其丧失了网络的并行能力，整体的时间反而会更长，从这点上来说，这篇文章的结果并不算很完美
2. 论文的结果其实与标题所说的减少，存在一定的夸大，这一点上论文也存在着一些问题
3. 参数量不一定等于实时与速度，这一点在SqueezeNet丧失并行能力，导致运行时间更长就可以看出。