深度学习经典网络：ShuffleNet系列网络(ShuffleNet v2)

ShuffleNet v2:https://link.springer.com/chapter/10.1007/978-3-030-01264-9_8
pytorch代码：https://github.com/Randl/ShuffleNetV2-pytorch/blob/master/model.py
keras代码：https://github.com/opconty/keras-shufflenetV2

0. 前言

目前大部分的模型加速和压缩文章在对比加速效果时用的指标都是FLOPs（float-point operations），这个指标主要衡量的就是卷积层的乘法操作。但是这篇文章通过一系列的实验发现FLOPs并不能完全衡量模型速度，这主要有一下两个原因：

• 除了FLOPs会影响速度外，还有其他因素会造成影响。比如：内存访问消耗时间（memory access cost- MAC）这对模型速度影响比较大，但是却难以在FLOPs指标中体现出来; 还有比如并行程度（degree of parallelism）。
• 对于具有相同FLOPs的模型在不同的平台会有不同的运行时间。

因此，作者提出了两个设计网络应该考虑的两个准则：

• 首先应该考虑直接指标（比如速度），而不是考虑简介的指标（比如FLOPs)
• 其次这些指标应该在目标平台上同一进行评价

在论文接下来的部分，作者首先通过实验得出高效网络设计的四个准则，然后根据这些准则对现有ShuffleNet v1进行改进，提出ShuffleNet v2。

1. 高效网络设计的准则

作者首先对现有一些网络各个部分占用的时间进行了实验统计，如图1

图 1 不同网络各组成部分运行时间占比统计

从图1可以看出，FLOPs只考虑了卷积操作，虽然在网络运行时间中占了很大比重，但像data I/O, datashuffle and element-wise operations (AddTensor, ReLU, etc) 也是不容忽视的，因此只考虑FLOPs是不合理的，鉴于上述考虑，作者设计了四组对比实验来探究网络设计的高效准则。

1. Equal Channel width Minimizes Memory Access Cost (MAC)（等通道宽度可最大限度地降低内存访问成本）

结论是卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。

轻量级网络通常采用通道分离卷积（depthwise seperate conviolution), 而当中pointwise convolution(也就是11卷积)占了很大比重的计算复杂度，所以作者以11卷积为例，研究了11卷积与MAC之间的关系。
假设一个11卷积层的输入特征通道数是$c_1$，输出特征尺寸是h和w，输出特征通道数是$c_2$，那么这样一个1*1卷积层的FLOPs即为$B=hw{c}_1{c}_2$.
那么MAC，即 内存访问操作数为：
$$\mathrm{M}\mathrm{A}\mathrm{C}=hw\left(c_1+c_2\right)+c_1{c}_2(1)$$

其中$hw{c}_1$表示输入特征所需存储空间，$hw{c}_2$表示输出特征所需存储空间，$c_1{c}_2$表示卷积核所需存储空间。
根据均值不等式($a$