《GhostNet: More Features from Cheap Operations》笔记

GhostNet

Introduction

GhostNet是从模型设计方面精简卷积神经网络模型。

Motivation

卷积神经网络模型得到的特征中有许多特征是冗余的。比如下图是ResNet-50的第一个残差块得到的特征图，红色、绿色和蓝色框的特征图表现出非常高的相似性。同颜色的下一个特征图就像是上一个特征图的镜像(ghost)。而这些相似度高的特征图是由不同的卷积核参数计算得到的。作者的想法是，既然这些特征图相似，我们可以通过卷积只得到部分的特征图，再由得到的特征图经过简单的变换得到其他相似的特征图。这样做既可以减少卷积核，减少模型的参数量，也可以减少模型的运算量。

Approach

Ghost Module

作者提出的镜像模块是基于卷积操作的。如同上面所说的，作者把原来的卷积层分成两步。第一步是卷积，只是输出的通道数减少了。假设原来的通道数是$n$，现在的通道数是$m(m\le n)$，得到的特征图用$Y^{\prime }$表示。

第二步，用$Y^{\prime }$生成其他特征图：