特征提取模型的轻量化之路（一）

一、 参数量和理论计算量

1、计算公式：

假设卷积核大小为 $K_h\times K_w$，输入通道数为 $C_{in}$，输出通道数为$C_{out}$，输出特征图的宽和高分别为$W$和$H$，这里忽略偏置项

• CONV 标准卷积层：

1. params：$K_h\times K_w\times C_{in}\times C_{out}$
2. FLOPs：$K_h\times K_w\times C_{in}\times C_{out}\times H\times W=params\times H\times W$

• FC 全连接层（相当于 k=1）：

1. params： $C_{in}\times C_{out}$
2. FLOPs：$C_{in}\times C_{out}$

二、轻量级网络

1、 SqueezeNet

文章的的核心是提出了一个fire module， 如下图所示：

在fire module中有三个可调参数：s, e1, e3分别代表各个卷积核的个数。在论文中给出的参数设置方法是$e_1=e_3=4s_1$