ShuffleNet v2算法笔记

论文：ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design
论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliw

这篇是ECCV2018关于模型加速和压缩的文章，是之前ShuffleNet的升级版。这篇文章的观点和实验都比较新颖，看完还是有不少收获的，特来分享。

目前大部分的模型加速和压缩文章在对比加速效果时用的指标都是FLOPs（float-point operations），这个指标主要衡量的就是卷积层的乘法操作。但是这篇文章通过一系列的实验发现FLOPs并不能完全衡量模型速度，比如在Figure1（c）（d）中，相同MFLOPs的网络实际速度差别却很大，因此以FLOPs作为衡量模型速度的指标是有问题的。

那么，为什么FLOPs相同的模型速度差别会那么大？这也是这篇文章的出发点和后续4个主要实验要证明的内容。首先直观的一点是内存访问消耗时间（memory access cost 缩写为 MAC）是需要计算的，这对模型速度影响比较大，但是却难以在FLOPs指标中体现出来。这个MAC指标将在出现在后续几个实验中，接下来分别介绍这4个实验。

第一个实验是关于卷积层的输入输出特征通道数对MAC指标的影响。结论是卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。
假设一个1*1卷积层的输入特征通道数是c1，输出特征尺寸是h和w，输出特征通道数是c2，那么这样一个1*1卷积层的FLOPs就是下面式子所示，更具体的写法是B=1*1*c1*c2*h*w，这里省略了1*1。

接下来看看存储空间，因为是1*1卷积，所以输入特征和输出特征的尺寸是相同的，这里用h和w表示，其中hwc1表示输入特征所需存储空间，hwc2表示输出特征所需存储空间，c1c2表示卷积核所需存储空间。