GhostNet: More Features from Cheap Operations论文初读

一、论文的工作

（一）问题发现

• 有限的内存和计算资源使得CNNs在嵌入式设备上部署很困难。
• CNNs一个很重要的特点是—特征冗余，但在神经架构设计的时候，很少关注到这个问题。

（二）解决问题

• 提出了Ghost模块，简单的操作可产生更多的特征图。基于一组内在特征图，应用了一系列代价很小的线性转换产生许多Ghost特征图，这些Ghost特征图充分揭示了内在特征图的潜在信息。
• Ghost模块即插即用，很方便地升级现有的卷积神经网络。
• 堆叠Ghost模块获得Ghost bottlenecks，轻量化的GhostNet便轻松地建立起来了。
• benchmarks实验表明，用Ghost模块代替基准模型中的卷积层是可行的，并且在ImageNet ILSVRC-2012分类数据集上做实验，GhostNet具有比MobileNetV3更高的识别性能（例如，75.7％top-1精度）。

二、Introduction

• 深度卷积神经网络已经在各种计算机视觉任务上显示出出色的性能，比如图像识别，目标检测，语义分割。传统的CNNs通常需要大量的参数和浮点运算才能达到令人满意的精确度。ResNet-50具有大约25.6M参数，需要4.1B FLOPs来处理尺寸为224*224的图像。因此，进来的深度神经网络设计趋势是探索可移动设备（例如智能手机和自动驾驶汽车）具有可接受性能的便携且高效的网络架构体系。

• 多年来，提出了一系列研究压缩神经网络的方法，比如网络剪枝，低位量化，只是蒸馏等。Han等人提出剪去神经网络中不重要的权重。《Pruning filters for efficient convnets》利用l1-norm正则化修剪CNNs滤波器，《Xnor-net:Imagenet classification using binary convolutional neural networks》量化权重和对1-bit数据的激活实现较大的压缩比和加速比。《Distilling the knowledge in a neural network》介绍了知识蒸馏方法，将知识从较大模型转换为较小模型。然而，这些方法的性能通常会受到其baselines的预训练深度神经网络的上限的约束。

• 除此之外，有效的神经架构设计在建立具有较少参数和计算量的高效深度网络方面具有很大的潜力，最近取得了相当可观的成果。这些方法还可为自动搜索方法提供新的搜索单元。例如，MobileNet利用depthwise和pointwise卷积构建出近似原始卷积层的单元，这个单元具有较大滤波器，达到了可观的性能。ShuffleNet进一步探索通道shuffle操作，以增强轻量级模型的性能。

• 训练有素的深度神经网络的特征图中的大量信息，甚至是冗余信息，通常可以保证全面了解输入数据。例如，图1展示的ResNet-50产生的一些特征图，其中存在许多相似的地方，就像彼此的重影。特征图的荣誉对一个成功地深度神经网络是一个重要的特征，与其去避免使用冗余的特征图，我们更愿意接纳它，以一种cost-efficient的方式。

• 在本文中，我们介绍了一个全新的Ghost模块，使用较少的参数产生更多的特征。特别地，深度神经网络中的一般的卷积层被分成两部分。第一部分是普通卷积，但它们的总数被严格控制着。对第一部分的内在特征图进行一系列简单的线性操作以产生更多的特征图。与普通卷积神经网络相比，在不改变输出的特征图大小的情况下，该Ghost模块所需的参数总数和计算复杂度均已降低。基于Ghost模块，我们建立了有效的神经架构，名叫GhostNet。首先，我们替换基准神经机构上的普通卷积层以证明Ghost模块的有效性，然后在多个基准视觉数据集上验证GhostNets的优越性。实验结果表明，Ghost模块能够在保留相似的识别性能的同时降低通用卷积层的计算代价，GhostNets在不同的任务上超过MobileNetV3等先进的高效深度模型，在移动设备上能够快速识别。

• 论文的剩余部分安排如下：第2节简要总结了这个领域的相关工作，接着第3节提出Ghost模块和GhostNet，第4节是实验和分析，最后，第5节总结工作。

三、Related Work

这部分我们重新审视轻量化神经网络的方法：模型压缩和紧凑模型设计。

（一） Model Compression

对于开放式神经网络，模型压缩目标是减少计算、能源和存储代价。

1. 修剪连接断开神经元间不重要的连接。
2. 通道修剪的目标在于移除无用的通道，以便在实践中更加轻松地加速。
3. 模型量化表示能够压缩和加速计算的神经网络中具有离散值的权重和激活函数。具体来说，仅具有1-bit值的二值化方法可以通过有效的二进制运算极大地加速模型。
4. 张量分解利用权重的冗余和低秩属性减少参数或者计算量。
5. 知识蒸馏利用较大模型为较小模型讲授知识，从而提高较小模型的性能。

这些方法的性能通常取决于给定的与训练模型。基础操作和体系结构的改进将使模型拥有更长久的生命力。

（二） Compact Model Design

由于嵌入式设备上部署神经网络的需求，几年来提出了一系列紧凑模型。

• SqueezeNet 使用bottleneck方法以少50倍的参数达到AlexNet级别的精度。
• Xception 利用deepwise卷积操作来更有效地使用模型参数。
• MobileNets是一系列基于深度可分离卷积的轻量化深度神经网络。
• MobileNetV2提出了反向残差块。
• MobileNetV3进一步利用AutoML技术以更少的FLOP实现了更好的性能。
• ShuffleNet引入了通道shuffle操作，以改善通道组之间的信息流交换。
• ShuffleNetV2进一步考虑了紧凑模型设计时目标硬件的实际速度。
  尽管这些模型仅用很少的FLOP即可获得出色的性能，但从未充分利用特征图之间的相关性和冗余性。

四、Approach

在这一节中，我们将介绍利用一些小的滤波器从原始卷积层中产生更多特征图的Ghost模块，然后构建非常高效且具有高性能的GhostNet。

（一）Ghost Module for More Features

• 深度卷积神经网络通常由大量的卷积组成，导致大量的计算成本。尽管诸如MobileNet和ShuffleNet之类的最新工作已经引入了深度卷积或shuffle操作，以使用较小的卷积滤波器（浮点数运算）来构建有效的CNN，但是其余的1×1卷积层仍会占用大量内存和FLOPs。
  
• 如图1所示，主流CNN计算出的中间特征图中存在广泛的冗余，我们建议减少所需资源，即 用于生成中间特征图的卷积滤波器。 给定输入数据$X\in {\mathbb{R}}^{c\times h\times w}$，其中$c$是输入通道数，$h$和$w$分别是输入数据的高度和宽度，用于生成$n$个特征图的任意卷积层的操作可以表述为
  $$Y=X\ast f+b\text{\hspace{1em}(1)}$$
  $\ast$代表卷积操作，$b$是偏置项，$Y\in {\mathbb{R}}^{h^{{}^{\prime }}\times w^{{}^{\prime }}\times n}$是具有n个通道的输出特征图，$f\in {\mathbb{R}}^{c\times k\times k\times n}$是本层的卷积核。此外，$h^{{}^{\prime }}$和$w^{{}^{\prime }}$是输出数据的高和宽，$k\times k$是卷积滤波器$f$的卷积核大小。卷积操作所需的FLOPs可以这样计算：$n\cdot h^{{}^{\prime }}\cdot w^{{}^{\prime }}\cdot c\cdot k\cdot k$，由于滤波器的数目n和信道数目c非常大（例如256或512），FLOPs通常多达数十万。
• 根据等式(1)，要优化的参数数量（$f$和$b$中）由输入和输出特征图的尺寸确定。 如图1所示， 如图1所示，卷积层的输出特征图通常包含大量冗余，其中一些彼此相似。 我们指出，没有必要使用大量的FLOPs和参数一一生成这些冗余特征图。 假设输出特征图是少数内部特征图经过简单转换得到的“ghosts”。 这些内在特征图通常具有较小的尺寸，由普通的卷积滤波器生成。 具体来说，使用基本的卷积生成$m$个内在特征图$Y^{{}^{\prime }}\in {\mathbb{R}}^{h^{{}^{}}}$