GhostNet: More Features from Cheap Operations

动机：

1.传统的CNN通常需要大量的参数和浮点运算（FLOPs）才能达到满意的精度；
2.尽管最近的工作，例如MobileNet和ShuffleNet引入了深度可分离卷积或混淆卷积操作，以使用较小的卷积核（浮点运算）来构建有效的CNN，但1x1卷积层仍将占用大量内存和FLOPs；
3.MobileNet和ShuffleNet这类模型在较少FLOPs下获得了高性能，但特征映射之间的相关性和冗余性却从未得到很好的利用；
4.深度网络处理过的特征有一部分冗余，这类特征可以通过更廉价的方式获取，不一定非要传统代价较为高昂的运算方式；

贡献：
1.提出了幽灵模块
2.根据提出的幽灵模块，提出了幽灵网络（GhostNet）

框架：

针对传统方式，设定输入数据维度为c×h×w，卷积核为c×k×k×n，其中k为卷积核大小，n为卷积核数量，设输出的feature map尺寸为h＇×w＇×n，那么计算量为：h＇×w＇×n×c×k×k。
然而，输出的feature map中会有很多类似或者冗余的特征，如下图所示，这类冗余特征可以基于某个基础特征通过廉价的线性变换获得，下图的扳手是线性操作，箭头起点为基础特征，终点为冗余或相似特征。

本文设定每个基础特征对应 s 个冗余特征，那么只需要输出 n/s 个基础特征即可，然后对每个基础特征执行线性变换（论文采取 d×d 的卷积核进行运算），生成对应的冗余/相似特征即可，这样即可降低网络本身的FLOPs。相比于原有方式，FLOPs是原来的 1/s 。

GhostNet中的主要有两类bottleneck，主要由上述Ghost module堆积，Stride分别为1和2。

Ghost bottleneck 1结构类似于ResNet，集成了多个卷积层和shortcut，Ghost bottleneck1主要由两个堆叠的Ghost模块组成。第一个Ghost模块用作扩展层，增加了通道数。Ghost bottleneck2通过深度可分离卷积减少通道数，并使用shortcut连接输入和输出。
GhostNet的网络结构如下：

实验：
在CIFAR-10、ImageNet ILSVRC 2012数据集和MS-COCO对象检测基准数据集上进行实验。

CIFAR-10上的实验对比：

ImageNet上的实验对比：


COCO数据集上的实验对比：



该方法是一个即插即用模块，可以将原始模型转换为紧凑模型，同时保持可比较的性能。可以直接应用在ResNet网络。