GhostNet: More Features from Cheap Operations 阅读笔记

论文地址
代码地址

1. 文章概述

这篇文章主要是从 CNN 的特征图的角度出发增加包含信息的特征图的数量的角度构建了叫做 ghost module 的组件。在一系列称之为本质信息的特征图的基础上，通过简单的变换生成更多的特征图，并将这些变换的特征图和原有的本质特征图结合在一起增强 ghost module 的特征信息，更重要的是这样的操作方式并没有增加网络的参数和计算量。

2. 模块介绍

假设某层卷积的输入数据$X\in R^{H\times W\times c}$, 卷积核的尺寸 $f\in R^{c\times k\times k\times n}$, 输出数据的尺寸是 $Y\in R^{h^{\prime }\times w^{\prime }\times n}$。传统的卷积模式：

计算公式为：
$Y=X\ast f+b$
该过程的计算量为 $n\times h^{\prime }\times w^{\prime }\times c\times k\times k$, 参数量为 $n\times c\times k\times k$。

ghost module 的结构：

这个模块能够替代传统的卷积层，该过程并不会改变该层网络的输出的通道数目和尺寸。该过程将传统的卷积分成两个部分：

1. 首先经过一个传统卷积层生成 m 个通道的特征图, 其中 $m\le n$。
2. 其次将 m 个通道的特征图映射成为 n 个通道的特征图，该部分包含两个部分， 其中 m个特征图是 Identity 方法获得的，(n-m) 个特征图是通过简单的变换得到的，该部分的生成方法如下：
   $y_{i,j}={\Phi }_{i,j}({y_i}^{\prime }),\forall i=1,\dots m,j=i,\dots ,s$
   其中，${y_i}^{\prime }$是第$i$个本质特征图，${\Phi }_{i,j}$是变换函数, 其中$n=ms$。

3. 不同之处

1. Ghost 模块的卷积核具有自定义的功能；
2. Ghost 模块采用传统的卷积生成少量的内在特征图，然后利用线性变换增加特征图数量；
3. Ghost 模块中的线性变换增强了特征图的多样性；
4. Ghost 模块中的转换以保留固有的特征图。

4. 计算量测量

传统的卷积层的计算量是: $n\times h^{\prime }\times w^{\prime }\times c\times k\times k$.
Ghost 模块中，首先生成 m 个通道的特征图的计算量是： $m\times h^{\prime }\times w^{\prime }\times c\times k\times k$;
其次线性变换生成特征图的计算量：
$(n-m)\times d\times d\times h^{\prime }\times w^{\prime }=m\times (s-1)\times d\times d\times h^{\prime }\times w^{\prime }=\frac{n}{s}\times (s-1)\times d\times d\times h^{\prime }\times w^{\prime }$。则 ghost 模块的压缩率 r:
$r=\frac{n\times h^{\prime }\times w^{\prime }\times c\times k\times k}{m\times h^{\prime }\times w^{\prime }\times c\times k\times k+\frac{n}{s}\times (s-1)\times d\times d\times h^{\prime }\times w^{\prime }}=\frac{c\times k\times k}{\frac{1}{s}\times c\times k\times k+\frac{s-1}{s}\times d\times d}\approx \frac{s\times c}{s+c-1}\approx s$。其中，$d\times d$ 和 $k\times k$ 具有相似的尺寸并且 $s\ll c$.

5. GhostNet

利用上述的 ghost 模块构建 GhostNet 网络并应用于分类，检测和分割等，具体的网络结构可以参考原论文ghostnet.