深度学习【57】ShuffleNet V2

这是shuffleNet的一个改进版本。论文分析了影响运行速度的几个因素，然后提出了一些指导原则。总的来说，这是一篇很不错的论文，值得学习。

现在很多模型的速度评估都是用FLOPs这个指标，但这个指标用来评价速度是不直接的。因为影响模型速度的因素不仅仅是FLOPs，内存访问操作所消耗的计算（memory access cost，MAC），以及平台因素。

对于MAC这种情况，有很多操作会有非常高的MAC。比如分组卷积，因此我们应该尽量少用分组卷积。另一个情况是，低并行性，如inception系列的多尺度卷积核。

对于平台因素，以GPU的张量分解来说。在一些论文里，提出了FLOPs减少75%的张量分解，理论上应该是加速了很多的。但是在GPU中却慢了很多。论文认为，这是因为CUDNN是针对3*3的卷积进行优化的，我们不能想当然的认为3*3卷积会比1*1卷积慢9倍。我们可以进一步看看不同平台，在不同操作上消耗的计算：

在GPU上，不管是shuffleNet V1还是MobileNet V2卷积和其他的一些消耗MAC的操作所消耗的计算是差不多的。但是在ARM上卷积消耗的计算比MAC消耗的计算更多。

Practical Guidelines for Efficient Network Design

论文提出了一些提高速度的网络结构设计原则，这些原则主要是针对GPU和ARM硬件。另外，论文中的FLOPs只考虑卷积操作，其他的一些操作如data I/O，data shuffle，element-wise 操作（add，relu等）也会用来评估计算速度。接下来介绍一下具体的指导原则：

G1、使用相同的通道数来最小化MAC

现在有很多模型都会使用可分离卷积，在可分离卷积中，1*1卷积的计算量最大。我们研究了不同的输入通道和输出通道对速度的影响。

对于输入通道为$c_1$，输出通道为$c_2$，特征图大小为wh，1*1卷积的FLOPs， B=hwc1c2