生成特征_GhostNet: 使用简单线性变换生成特征图，超越MobileNetV3的轻量级网络

作者 | VincentLee

编辑 | 贾伟

本文转载自微信公众号：晓飞的算法工程笔记

​CVPR 2020 已经公布录用结果，其中有效投稿 6656 篇，最终录用 1470 篇，接收率 22.1 % 。CVPR 2020 将于6月14日-6月19日在美国西雅图举办。
虽然在近三年来，CVPR 的论文投稿量都在持续大涨（CVPR 2018有 3300 篇有效投稿、CVPR 2019有 5160 篇有效投稿、CVPR 2020有效投稿达6656），然而在接收率方面，已是“二连降”（CVPR 2018 收录论文 979 篇、接收率为 29%左右；CVPR 2019 收录论文 1300 篇，接收率为25%左右；CVPR 2020 收录论文 1470篇、接收率为 22%左右）。

今天要介绍的是 CVPR 2020上被录用的文章《GhostNet: More Features from Cheap Operations》。

论文地址：https://arxiv.org/abs/1911.11907

为了减少神经网络的计算消耗，论文提出Ghost模块来构建高效的网络结果。该模块将原始的卷积层分成两部分，先使用更少的卷积核来生成少量内在特征图，然后通过简单的线性变化操作来进一步高效地生成ghost特征图。从实验来看，对比其它模型，GhostNet的压缩效果最好，且准确率保持也很不错，论文思想十分值得参考与学习。

一、背景

目前，神经网络的研究趋向于移动设备上的应用，一些研究着重于模型的压缩方法，比如剪枝，量化，知识蒸馏等，另外一些则着重于高效的网络设计，比如MobileNet，ShuffleNet等。

训练好的网络一般都有丰富甚至冗余的特征图信息来保证对输入的理解，如图1 ResNet-50的特征图，相似的特征图类似于对方的ghost。冗余的特征是网络的关键特性，论文认为与其避免冗余特征，不如以一种cost-efficient的方式接受，获得很不错的性能提升，论文主要有两个贡献：

1）提出能用更少参数提取更多特征的Ghost模块，首先使用输出很少的原始卷积操作(非卷积层操作)进行输出，再对输出使用一系列简单的线性操作来生成更多的特征。这样，不用改变其输出的特征图，Ghost模块的整体的参数量和计算量就已经降低了；

2）基于Ghost模块提出GhostNet，将原始的卷积层替换为Ghost模块。

二、方法

1、Ghost Module for More Features