GhostNet: More Features from Cheap Operations

文章和代码

摘要

由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络非常困难。特征图中的冗余是那些成功的中枢神经系统的一个重要特征，但在神经结构设计中很少被研究。本文提出了一种新的Ghost模块，通过廉价的操作生成更多的特征图。基于一组内在特征图，我们以低廉的成本应用一系列线性变换来生成许多幽灵特征图，这些幽灵特征图可以充分揭示内在特征背后的信息。所提出的Ghost模块可以作为即插即用组件来升级现有的卷积神经网络。Ghost瓶颈旨在堆叠Ghost模块，然后可以轻松建立轻量级GhostNet。在基准上进行的实验表明，所提出的Ghost模块是基线模型中卷积层的令人印象深刻的替代方案，并且我们的GhostNet可以在ImageNet ILSVRC2012分类数据集上以相似的计算成本实现比MobileNetV3更高的识别性能(例如，75.7%的top-1精度)。

引言

图1展示了由ResNet-50生成的输入图像的一些特征图，并且存在许多相似的特征图对，就像彼此的幽灵一样。特征图中的冗余可能是成功的深度神经网络的重要特征。我们倾向于采用它们，而不是避免冗余的要素地图，但这是一种经济高效的方式

在这篇文章中，我们引入了一个新的Ghost模块，用更少的参数生成更多的特征。具体来说，深度神经网络中的普通卷积层将被分成两部分。第一部分涉及普