超级详细易懂的GhostNet解析

GhostNet的不完全解析

CVPR2020 & IJCV2022(the extended version)
Noah’s Ark Lab, Huawei Technologies

论文地址： https://arxiv.org/abs/1911.11907
源码：https://github.com/huawei-noah/ghostnet.

摘要

由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络(CNNs)是很困难的。特征图中的冗余性是这些成功cnn的一个重要特征，但在神经结构设计中很少被研究。
本文提出了一种新的ghost模块，从廉价的操作中生成更多的特征映射。基于一组内在特征映射，应用一系列成本低廉的线性变换来生成许多幽灵特征映射，可以充分揭示内在特征背后的信息。
提出的ghost模块可以作为即插即用组件来升级现有的卷积神经网络。 Ghost bottlenecks被设计为堆栈的ghost模块，可以很容易地建立轻量级的GhostNet。
在基准测试上进行的实验表明，所提出的Ghost模块是baseline模型中卷积层的一个令人印象深刻的替代方案，我们GhostNet可以在ImageNet ILSVRC-2012分类数据集上以相近的计算成本比MobileNetV3获得更高的识别性能（例如75.7%的top-1精度）。

研究动机

在主流的深度神经网络提取的特征图中，丰富甚至冗余的信息通常保证了对输入数据的全面理解。例如，图1展示了由ResNet-50生成的输入图像的一些特征图，并且存在许多相似的特征图对，就像彼此之间的幽灵一样。

特征图中的冗余（ghost maps