GhostNet: More Features from Cheap Operations

由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络非常困难。本文提出了一种新颖的Ghost模块，可以从简便的操作中生成更多的特征图。基于一组内在特征图，我们以低廉的成本应用一系列线性变换来生成许多能够充分揭示内在特征背后信息的ghost特征图。所提出的Ghost模块可以作为即插即用组件来升级现有的卷积神经网络。Ghost瓶颈被设计成堆叠的Ghost模块，然后轻量级的GhostNet就可以轻松建立起来。

在训练有素的深层神经网络的特征图中，丰富甚至冗余的信息往往保证了对输入数据的全面理解。特征图中的冗余可能是成功的深层神经网络的一个重要特征。我们没有避免冗余的特征图，而是倾向于以一种经济高效的方式采用它们。

在本文中，我们引入一种新的Ghost模块，通过使用较少的参数来生成更多的特征。具体来说，深度神经网络中的一个普通卷积层将被划分为两部分。第一部分涉及普通卷积，但它们的总数会被严格控制。给定第一部分中的固定特征图，然后应用一系列简单的线性操作来生成更多的特征图。与普通卷积神经网络相比，在不改变输出特征图大小的情况下，该Ghost模块所需的参数总数和计算复杂度都有所降低。基于Ghost模块，我们建立了一个高效的神经网络结构GhostNet。我们首先替换基准卷积结构中的原始卷积层，以证明Ghost模块的有效性，然后在几个基准视觉数据集上验证我们的GhostNets的优越性。实验结果表明，Ghost模块能够降低通用卷积层的计算成本，同时保持相似的识别性能，并且GhostNets能够在移动设备上进行快速推理的各种任务上超越最先进的高效深度模型，如MobileNetv3.