GhostNet 越来越多的小结构修改

首发于：jwxie.cn

GhostNet - More Features from Cheap Operations

🔗 PDF Link 🍺 Github Code
超越了MobileNetv3的轻量型网路实现方式。

个人前言

前几天论文预答辩的时候停了停大实验室里其他同学的研究，有一部分做网络压缩的，当时有个评委提了个问题

在如今MobileNet系列以及ShuffleNet等轻量级网络不断发展的前提下，网络压缩的发展方向在哪？

当时没仔细想，现在回过头来一想的确是个有意思的问题。

个人（非该方向）觉得，其实压缩的目的就是为了去除网络中的冗余参数，去掉的多了，对于复杂的网络而言也就变成了“轻量级网络”。

如果非要说发展方向在哪，我觉得不如和NAS结合起来来探究一下到底什么结构是又快又好的，或是直接对结构和宽度做优化设计新的网络。

当然也不是说不能继续对ShuffleNet之类的轻量级网络继续剪枝，但个人理解一定程度的冗余可能是有利于提升网络的泛化性。

Section 1 简介

过去许多工作来进行网络压缩，包括了剪枝，低比特量化，知识蒸馏等。但是这类工作有一个很大的上限，他们的性能被局限于预训练模型性能基线（应该不能说是狭义的上限，部分压缩还能能略略提升一点baseline的性能）。

和上面网络压缩不同的是，如MobileNet等轻量级网络则是从结构设计优化的角度减少参数和计算量（嘿，论文这里也提到了NAS，说结构设计工作其实可以和NAS结合起来），相对而言这些工作有着更大的潜力。

作者认为特征图的冗余是有必要的，同时也选择拥抱这类特征冗余，但是会以一种更加高效的方式来得到这类冗余。上图展示了ResNet-50在识别一只猫的过程中所产生的特征图，其中有很多特征图是很像是另外一些特征图的一些ghost。

本文将传统的卷积拆分成两个部分，第一部分为正常卷积（这一部分的卷积核数量会被严格限制），另一部分为对第一部分产生的“固有”特征图进行一些线性变换的模块，最终保证和vanilla cnn中的卷积层有一样大小的输出但是更少的参数和计算量。

最后，轮到他们装逼的时候了！

• 将baseline中的卷积层替换为Ghost Modules，证明了有效性
• 证明了在许多benchmarks中有着更好的性能
• 俺们是SOTA， MobileNetV3也8行!

Section 2 相关工作

⭐️ 细节自己看奥 ⭐️

• Model Compression
• Compact Model Design

Section 3 方法

3.1 Ghost Module for More Features

Ghost Module

尽管MobileNet和ShuffleNet使用了DW卷积和shuffle操作，但是即使是1x1的卷积也是有memory消耗和FLOPs的。
这里科普了一个FLOPs的计算方法，假定常规卷积可以看作是
$$Y=X\ast f+b\text{\hspace{1em}(3.1)}$$
其中$f$为卷积核，其大小为$k\times k$。那么最终一次卷积产生的计算就变成了下式。
$$FLOPs=n\cdot h^{\prime }\cdot w^{\prime }\cdot c\cdot k\cdot k\text{\hspace{1em}(3.2)}$$
这个公式告诉我的是，在$n:numberofkernels$和$c:channels$很大（通常是256或512）的时候，会产生较大的计算量。 但是前面那张图又告诉我们，网络通过一堆计算会生成一堆特征图，而且部分特征图还和别的有点像。

那成，我们就把那些看起来类似的特征图看作是其他固有特征图（是由正常卷积生成的尺寸较小maps）经过一些cheap transformantion后生成的一些“ghosts”。
$$Y^{\prime }=X\ast f^{\prime }\text{\hspace{1em}(3.3)}$$
其中$ f’ \in \mathbb{R}^{c\times k \times k \times m}, m \leq n$，$m$是用来界定到底有多少参数是固有的有多少是ghost的参数。在此基础上，为了获得和正常卷积一样大小的输出，我们再对每一张已经生成的固有卷积特征图$Y’$去做一些cheap的线性变化。

$$y_{ij}={\Phi }_{i,j}\left(y_i^{\prime }\right),\forall i=1,\dots ,m,j=1,\dots ,s\text{\hspace{1em}(3.4)}$$

其中，$y_i^{\prime }$是$Y^{\prime }$中的第$i$个特征图，${\Phi }_{i,j}$是$y_i^{\prime }$对第$j$个线性操作，也就是说可以一对多（至多$s$个），记为$ \{{y_{ij}\}}_{j=1}^{s} $，
当然啦，最后一个的 ${\Phi }_{i,s}$是一个identity连接，用以保留原始特征图。同时线性变换也不是固定窗口的，有$3\times 3$ 也有 $ 5 \times 5$的。

最后，我们得到了$n=m\cdot s$数量的特征图集$Y=\left[y_{11},y_{12},\cdots ,y_{ms}\right]$。

其实一言以蔽之，减少计算量的思想就是DW卷积那个，但是不一样的是使用线性变化能从原理上获得质量更高的特征图

Difference from Existing Methods

• 对比MobileNet，ShuffleNet，SqueezeNet大量使用的$1\times 1$PW卷积而言，俺们的可以自定义尺寸。
• 对比MobileNet/v1-v2，ShuffleNet/v1-v2使用PW卷积来处理channel之间的信息，用DW卷积来处理空间信息，俺们直接使用正常卷积+Ghost Module
• MobileNet，ShuffelNet等网络使用的DW卷积和shift操作都有框架限定，俺们的没有因此有更广泛的适用性。
• identity映射是并行线性变换的。

Analysis on Complexities

这里分析一下到底降低了多少计算量和参数量，假设Ghost Module的线性变换核为$d\times d$大小的，且$s\ll c$。

针对计算量：
$$\begin{array}{rl}{r}_s& =\frac{n\cdot h^{\prime }\cdot w^{\prime }\cdot c\cdot k\cdot k}{\frac{n}{s}\cdot h^{\prime }\cdot w^{\prime }\cdot c\cdot k\cdot k+(s-1)\cdot \frac{n}{s}\cdot h^{\prime }\cdot w^{\prime }\cdot d\cdot d}\\ & \\ & =\frac{c\cdot k\cdot k}{\frac{1}{s}\cdot c\cdot k\cdot k+\frac{s-1}{\beta }\cdot d\cdot d}\approx \frac{s\cdot c}{s+c-1}\approx s\end{array}$$

针对参数量：
$$r_c=\frac{n\cdot c\cdot k\cdot k}{\frac{n}{s}\cdot c\cdot k\cdot k+\frac{s-1}{s}\cdot d\cdot d}\approx \frac{s\cdot c}{s+c-1}\approx s$$

3.2 搭网络

Ghost BottleNecks(G-bneck)

如图所示，这个BottleNeck跟ResNet很像，左边那个用两个Ghost Module来构成Ghost bottleneck（G-bneck）。第一个用来拓展特征维度，第二个用于降低通道数并平衡shortcut附带的特征通道数。

• 这里定义了一个拓展比例=第一个Ghost Module的输出/输入通道数。
• 同时加上了第二个Ghost Module后面的ReLU（俺们不和MobileNetV2一样）。

对于stride=2的情况，就是在两个Ghost Module中间夹一个DW卷积。在实际过程中，这里把Ghost Module里面的正常卷积换成了PW卷积。

GhostNet

结构和MobileNetV3很像，如下表。
但激活层上没有使用hard-swish nonlinearity： $x=x\cdot \sigma (x)$。

输入	操作	#exp	#out	Squeeze and excite	步长
$224^2\times 3$	Conv2d $3\times 3$	-	16	-	2
$112^2\times 16$	G-bneck	16	16	-	1
$112^2\times 16$	G-bneck	48	24	-	2
$56^2\times 24$	G-bneck	72	24	-	1
$56^2\times 24$	G-bneck	72	40	1	2
$28^2\times 40$	G-bneck	120	40	-	1
$28^2\times 40$	G-bneck	240	80	1	2
$14^2\times 80$	G-bneck	200	80	-	1
$14^2\times 80$	G-bneck	184	80	-	1
$14^2\times 80$	G-bneck	184	80	-	1
$14^2\times 80$	G-bneck	480	112	1	1
$14^2\times 112$	G-bneck	672	112	1	1
$14^2\times 112$	G-bneck	672	160	1	1
$7^2\times 160$	G-bneck	960	160	-	1
$7^2\times 160$	G-bneck	960	160	1	1
$7^2\times 160$	G-bneck	960	160	-	1
$7^2\times 160$	G-bneck	960	160	1	1
$7^2\times 160$	Conv2d $1\times 1$	-	960	-	1
$7^2\times 960$	AvgPool $7\times 7$	-	-	-	-
$1^2\times 960$	Conv2d $1\times 1$	-	1280	-	1
$1^2\times 1280$	FC	-	1000	-	-

Width Multiplier

GhostNet已经很nice了，但是还可以更nice，一个基础想法就是拓展一下宽度。比如使用$\alpha$对每层的通道数进行扩大或缩小，$\alpha$称为width multiplier，对应模型产生的额外参数和计算量大约为${\alpha }^2$倍。通常来说$\alpha$越小，延迟越低，反之亦然。

Section 4 实验

4.0 Dataset and Settings

• Classification: CIFAR-10： crop/mirroring
• Classification: ILSVRC2012 random crop/flip
• Object Detection: MS COCO(用了trainval35k)

4.1 Efficiency of Ghost Module

4.1.1 Toy Experiments

在ResNet-50的第一个ResBlock之后，将Figure1中的三个特征图对（红、绿、蓝）为例子。将图像对左侧的图像作为输入，右边的作为输出，来训练DW卷积核，学习他们之间的表达关系。采用的卷积核尺寸$d=1\dots 7$，使用MSE值来评估差异，结果如下表所示。

MSE$(10^{-3})$	d = 1	d = 3	d = 5	d = 7
red pair	4.0	3.3	3.3	3.2
green pair	25.0	24.3	24.1	23.9
blue pair	12.1	11.2	11.1	11.0

发现其实差异（MSE）很小，所以除了卷积，还可以使用一些仿射变换、小波变换等方式来实现，但总的来说卷积是已经是最高效的了，而且可以很号的适应当前的硬件。

4.1.2 CIFAR-10

1. 超参数选择
   此外对于参数$d$的选择上，尽管可以任意的来，但是不规律的选择对计算单元的计算效率是有影响的，因此将采用固定的$d$。结合另一个超参数$s$，对其超参数的值进行实验。

首先，固定$s=2$然后调节$d=1,3,5,7$，结果如下表所示。

d	Weigths(M)	FLOPs(M)	Acc. (%)
VGG-16	15.0	313	93.6
1	25.0	157	93.5
3	7.6	158	93.7
5	7.7	160	93.4
7	7.7	163	93.1

发现使用$d=3$能取得较好的结果，原因在于$1\times 1$的卷积核不能够为特征图引入太多空间信息，而$d=5,7$会导致过拟合和更多的计算量。

然后，固定$d=3$，调节参数$s=2,3,4,5$。这个参数的选择对最终的计算量的影响很大，实验结果如下表所示。

s	Weigths(M)	FLOPs(M)	Acc. (%)
VGG-16	15.0	313	93.6
2	7.7	158	93.7
3	5.2	107	93.4
4	4.0	80	93.0
5	3.3	65	92.9

发现在显著减少计算量的时候，如$s=2$，精度不仅提升了0.1计算量却降了一半。

2. 对比SOTA
   主要就是采用了VGG-16和ResNet-56作为对比实验框架，主要实验结果如下表所示。

Model	Weigths(M)	FLOPs(M)	Acc. (%)
VGG-16	15.0	313	93.6
ℓ1-VGG-16	5.4	206	93.4
SBP-VGG-16	-	136	92.5
Ghost-VGG-16 (s=2)	7.7	158	93.7
ResNet-56	0.85	125	93.0
CP-ResNet-56	-	63	92.0
ℓ1-ResNet-56	0.73	91	92.5
AMC-ResNet-56 (s=2)	-	63	91.9
Ghost-ResNet-56 (s=2)	0.43	63	92.7

总的来说，GhostNet不仅从计算量上有优势，精度上也有一定的优势。

3. 可视化特征图
   

4.1.3 ImageNet

Model	Weigths(M)	FLOPs(B)	Top-1 Acc. (%)	Top-5 Acc. (%)
ResNet-50	25.6	4.1	75.3	92.2
Thinet-ResNet-50	16.9	2.6	72.1	90.3
NISP-ResNet-50-B	11.0	3.0	74.5	91.8
SSS-ResNet-50	-	2.8	74.2	91.9
Taylor-FO-BN-ResNet-50	14.2	2.3	74.5	-
Thinet-ResNet-50	16.9	2.6	72.1	90.3
NISP-ResNet-50-B	11.0	3.0	74.5	91.8
Ghost-ResNet-50 (s=2)	13.0	2.2	75.0	92.3
Shift-ResNet-50	6.0	-	70.6	91.9
Taylor-FO-BN-ResNet-50	7.9	1.3	71.7	-
Slimmable-ResNet-50 0.5×	6.9	1.1	72.1	-
MetaPruning-ResNet-50	-	1.0	73.4	-
Ghost-ResNet-50 (s=4)	6.5	1.2	74.1	91.9

没啥好说的和前面的总结一样不仅从计算量上有优势，精度上也有一定的优势。

4.2 GhostNet on Visual Benchmarks

4.2.1 Classification

GhostNet里面最初的卷积核大小为$k=1\times 1$, $s=2,d=3$，然后也加了一些不同的width multiplier$\alpha$来控制GhostNet的参数和模型大小。
别的不多说了，就是diao呗，看表。

Model	Weigths(M)	FLOPs(B)	Top-1 Acc. (%)	Top-5 Acc. (%)
ShuffleNetV1 0.5× (g=8)	1.0	40	58.8	81.0
MobileNetV2 0.35×	1.7	59	60.3	82.9
ShuffleNetV2 0.5×	1.4	41	61.1	82.6
MobileNetV3 Small 0.75×	2.4	44	65.4	-
GhostNet 0.5×	2.6	42	66.2	86.6
MobileNetV1 0.5×	1.3	150	63.3	84.9
MobileNetV2 0.6×	2.2	141	66.7	-
ShuffleNetV1 1.0× (g=3)	1.9	138	67.8	87.7
ShuffleNetV2 1.0×	2.3	146	69.4	88.9
MobileNetV3 Large 0.75×	4.0	155	73.3	-
GhostNet 1.0×	5.2	141	73.9	91.4
MobileNetV2 1.0×	3.5	300	71.8	91.0
ShuffleNetV2 1.5×	3.5	299	72.6	90.6
FE-Net 1.0×	3.7	301	72.9	-
FBNet-B	4.5	295	74.1	-
ProxylessNAS	4.1	320	74.6	92.2
MnasNet-A1	3.9	312	75.2	92.5
MobileNetV3 Large 1.0×	5.4	219	75.2	-
GhostNet 1.3×	7.3	226	75.7	92.9

另外，FLOPs是一个理论指标，具体的实际速度上，对比结果看图。

左边是FLOPs，右边是实际的Latency，突出一个牛逼呗😂。

4.2.2 Object Detection

废话不多说，上表。

Backbone	Framework	BackBone FLOPs(M)	mAP(%)
MobileNetV2	RetinaNet	300	26.7
MobileNetV3	$\uparrow$	219	26.4
GhostNet 1.1×	$\uparrow$	164	26.6
MobileNetV2	Faster R-CNN	300	27.5
MobileNetV3	$\uparrow$	219	26.9
GhostNet 1.1×	$\uparrow$	164	26.9

Section 5 总结

论文提出Ghost Module来减少DNN的计算消耗。将正常卷积分解成了两个部分，通过对第一部分正常卷积生成的特征图进行线性变换来生成ghost特征图。这种方式更高效的实现了特征图的生成，同时结果证明这事有效的，同时取得了一部分SOTA。

References

⭐️ 没有啥具体要看的，引用的都是些比较经典的论文 ⭐️