摘要:
SqueezeNet是UC Berkeley 和 Stanford的作者提出的一种“小网络”。
原文地址: http://arxiv.org/abs/1602.07360
长久以来,研究人员一直在努力提升DCNN的精度。但是,在一些嵌入式便携式设备上,“小网络”更加受欢迎。
“小网络”有三个优势,1)在分布式训练的时候,需要更少的服务器之间的通信。2)模型加载的时候,需要更少的带宽。3)可以装载到FPGA或者其他“内存小”的设备上面。
作者提供的网络SqueezeNet,在达到AlexNet的精度的情况下,只需要AlexNet的1/50的参数。进一步 使用模型压缩技术,可以将模型压缩到0.5MB。
详细介绍
在这部分,首先说明CNN结构设计的策略,然后介绍Fire Module,最后介绍利用Fire Module构建SqueezeNet。
1. 结构设计策略
这篇文章的首要目的找到一种参数很少的网络,并且能够保持有竞争力的精度。为了达到这个目的,作者采用了三个策略。
策略1: 使用1*1网络代替3*3网络
在设计中,减少3*3网络的使用,尽量使用1*1网络。因为”1*1网络的参数数目” 是 “3*3网络的参数数目” 的1/9。
策略2.减少3*3滤波器的输入通道数。
每个卷积层的参数总数 = (前一层的通道数)(输出滤波器数)