摘要
摘要:将卷积神经网络(CNN)部署在嵌入式设备上是困难的,因为嵌入式设备的内存和计算资源有限。特征图的冗余是成功的 CNN 的一个重要特征,但在神经网络架构设计中很少被研究。作者提出了一种新颖的 Ghost 模块,用于通过廉价操作生成更多的特征图。基于一组内在特征图,我们应用一系列成本低廉的线性变换来生成许多 ghost 特征图,这些特征图可以充分揭示内在特征的信息。提出的 Ghost 模块可以作为即插即用组件来升级现有的卷积神经网络。Ghost bottlenecks 设计用于堆叠 Ghost 模块,从而可以轻松建立轻量级的 GhostNet。在基准测试上进行的实验表明,提出的 Ghost 模块是基线模型中卷积层的一个令人印象深刻的替代品,并且我们的 GhostNet 可以在 ImageNet 分类数据集上以类似的计算成本实现比 MobileNetV3 更高的识别性能。
理论介绍
作者提出的Ghost模块与现有的高效卷积方案有主要区别。与广泛使用1×1逐点卷积的单元相比,Ghost模块中的主要卷积可以有定制的核大小。i现有方法采用逐点卷积处理跨通道特征,然后采用深度卷积处理空间信息。相比之下,Ghost模块采用普通卷积首先生成少量内在特征图,然后利用廉价的线性操作增强特征并增加通道。 以前的高效架构中处理每个特征图的操作限于深度卷积或移位操作,而Ghost模块中的线性操作可以有很大的多样性。此外,在Ghost模块中,恒等映射与线性变换并行,以保留内在特征图。卷积层和提出的 Ghost 模块输出相同数量特征图的示意图如下所示:
Ghost 模块工作原理: Ghost 模块通过先生成较少的内在特征图,再通过一系列廉价的线性变换生成幽灵特征图(ghost feature maps)。具体来说,给定输入X,卷积层的输出通常为: