GhostNet

Introduction

深度卷积网络在各种计算机视觉任务中表现出了优异的性能，如图像识别（image recognition）、目标检测（object detection）以及语义分割（semantic segmentation）。传统的CNNs通常需要很大的参数与浮点运算【注释1】才能达到令人满意的效果，然而对于嵌入式设备【注释2】来说，因其有限的内存与计算资源的限制，故在其上部署卷积神经网络变得非常困难。研究便携式和高效的网络为移动设备提供可接受晨读性能成为新的潮流趋势。
针对以上问题人们提出两大类主要的思路：

1. 紧凑的深度神经网络（compact deep neural networks）
   1. 网络剪枝（network pruning）：根据权重减去不必要的连接
   2. 低比特量化（low-bit quantization）：用低比特位宽表示网络权重与激活值，从而同时降低存储和加速推理
   3. 知识蒸馏（ knowledge distillatiojn）：基于“教师-学生网络思想”的训练方法，利用大模型教小模型
2. 高效的神经架构设计（efficient neural architecture design）
   1. MobileNet ：深度可分离卷积
   2. ShuffleNet：通道shuffle

由ResNet-50中的第一个残差组生成的一些要素图的可视化结果如下图所示：

---

从图中我们可以看出生成了许多相似的特征图，Ghost Module利用了冗余，将深度神经网络中的普通卷积层分成两部分：第一部分涉及普通卷积，但它们的总数将受到严格控制。给定第一部分的固有特征图，然后应用一系列简单的线性运算来生成更多的特征图。
经测试，Ghost模块能够在保持相似识别性能的同时降低通用卷积层的计算成本，并且Ghost能在移动设备上以快速推理的方式在各种任务上超越最先进的高效深度模型，如mobilenev3

---

Innovation

有关GhostNet论文种提出了两个主要的创新点：Ghost Module、Ghost Net

---

Ghost Module

该模块利用一些小的过滤器从原始卷积层生成更多的特征图，然后开发一个具有极其高效的体系结构和高性能的GhostNet。
如上图所示为Ghost Module的工作示意图
计算：
假设输入图像大小为X=（c x h x w），输出图像大小为Y=（n x h’ x w’）卷积核的大小为 k x k [其中：c为input_channel，h、w分别为高度和宽度，n为产生的特征图的数目，h’、w’分别为输出图像的宽度和高度，m为固有特征图的大小，s为Ghost features，[其中：