为何 MobileNet 及其变种(如 ShuffleNet)速度很快
这篇文章是从 Medium 上看到的一篇 blog,比较 nice,直接翻译过来了。
译文地址:Why MobileNet and Its Variants (e.g. ShuffleNet) Are Fast
1. 介绍
在本文中,概述了高效的 CNN 模型(如 MobileNet 及其变体)中使用的构建块,并解释了它们如此高效的原因。 特别地,提供了关于如何完成 spatial 和 channel 域中卷积的直观说明。
2. 高效模型中使用的构建块
在解释特定的高效的 CNN 模型之前,让我们检查 CNN 模型中使用的构建块的计算成本,并了解如何在空间和信道域中执行卷积。
![](https://i-blog.csdnimg.cn/blog_migrate/276cde5624235b047cbc7f9031661840.png)
设 HxW 表示输入 feature map 的空间大小,N 表示输入 channel 的数量,KxK 表示卷积核的大小,M 表示输出 channel 的数量,标准卷积的计算成本为 HxWxNxKxKxM(记为HWNK²M)。
这里重要的一点是标准卷积的计算成本与(1)feature map 空间 HxW,(2)卷积核 KxK,(3)输入和输出通道的数量 NxM 成比例。
当在 spatial 和 channel 上执行卷积时,需要上述的计算成本。 下文中的描述,可以通过分解该卷积来加速CNN。
卷积(Convolution)
上述中,我提供了一个直观的例子,说明如何在标准卷积中完成 spatial 和 channel 域上卷积,其计算成本为HWNK²M。
我在输入和输出之间连线以显示输入和输出之间的依赖关系。 连线的条数大致分别表示 spatial 和 channel 域中卷积的计算成本。
![](https://i-blog.csdnimg.cn/blog_migrate/d130277c32644e9fa3370e63112eca6f.png)
例如,最常用的卷积 conv3x3 可以如上所示进行可视化。 我们可以看到输入和输出在 spatial 域中局部连接,而在通道域中,它们是全连接的。
![](https://i-blog.csdnimg.cn/blog_migrate/014590ebf50051fb4d7f561e9fd36f0b.png)
接下来,上图显示 conv1x1 [1],用于改变 channel 的大小。 该卷积的计算成本是 HWNM,因为内核的大小是1x1,与 conv3x3 相比,计算成本降低到 1/9。 该卷积用于跨通道的信息交互,具体请看 1x1 卷积的作用。
分组卷积(Grouped Convolution)
分组卷积是卷积的变体,其中输入 feature map 的 channel 被分组,并且对于每个分组的 channel 独立地执行卷积。
假设 G 表示组数,分组卷积的计算成本是 HWNK²M/ G,与标准卷积相比,计算成本降低到 1 / G.
![](https://github.com/youngxiao/DeepLearning-Notes/raw/master/pic/mobilenet4.png)
转换为 conv3x3 且G = 2 的情况。 我们可以看到,channel 域中的连接数变得小于标准卷积,这表明计算成本较低。
![](https://i-blog.csdnimg.cn/blog_migrate/160674c77fd976077811185264cf4fb5.png)
将 conv3x3 分组并且 G = 3 的情况。 连接变得更加稀疏。
![](https://i-blog.csdnimg.cn/blog_migrate/6e29ce44ad2ab722e781ffd8306bd39a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7ea9fc9014cea117cc73c9c329493164.png)
Depthwise Convolution
在 Depthwise Convolution [4] 中,对每个输入 channel 独立地执行卷积。 它也可以定义为分组卷积的特殊情况,其中输入和输出 channel 的数量相同,G 等于 channel 数。
![](https://i-blog.csdnimg.cn/blog_migrate/83d35d75e96dd1656e7924b512387b71.png)
Channel Shuffle
Channel shuffle 是一个改变了 ShuffleNet [5] 中使用 channel 的顺序。 该操作由 tensor reshape 和 transpose 实现。
更确切地说,让 GN’(= N)表示输入 channel 的数量,输入 channel 维度首先被 reshape 为(G,N’),表示 G 组,然后将(G,N’)转置为(N’,G),最后 flatten into 与输入相同的 size。 这里,G表示用于 grouped convolution 的组数,其与 channel shuffle layer 一起被应用到 ShuffleNet 中。
虽然不能根据乘和加来算 channel shuffle 的计算成本,但应该存在一些开销。
![](https://i-blog.csdnimg.cn/blog_migrate/85e2f7658234916bb951b4fa0ff74ecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f866e549ba977fa441952addfd4eded7.png)
3. 高效的模型
在下文中,对于高效的 CNN 模型,直观的说明了它们为什么高效,以及如何在 spatial 和 channel 域中完成卷积。
ResNet(Bottleneck 版本)
ResNet [6] 中使用了具有 bottleneck 的 残差单元(Residual unit),是进一步与其他模型进行比较的良好起点。
![](https://i-blog.csdnimg.cn/blog_migrate/40fa39031ce5d569a5447bb0b3415f07.png)
如上图,具有 bottleneck 的残差单元由 conv1x1,conv3x3 和 conv1x1 组成。 第一个 conv1x1 减小了输入 channel 的 size,既降维,使得减小了后续相对昂贵的 conv3x3 的计算成本。 最终的 conv1x1 恢复输出 channel 的维度。
ResNeXt
ResNeXt [7] 是一种高效的 CNN 模型,可以看作是 ResNet 的特例,其 conv3x3 被分组的 conv3x3 取代。 通过使用高效的分组转换,与 ResNet 相比,conv1x1 中的 channel 降低率变得适中,从而以相同的计算成本获得更好的准确性。
![](https://github.com/youngxiao/DeepLearning-Notes/raw/master/pic/mobilenet12.png)
MobileNet(可分离的 Conv)
MobileNet [8] 中应用可分离卷积模块(separable convolution modules),由 deepwise conv 和 conv1x1(pointwise conv)组成。
![](https://github.com/youngxiao/DeepLearning-Notes/raw/master/pic/mobilenet13.png)
这里重要的一点是计算成本的瓶颈现在是 conv1x1!
ShuffleNet
ShuffleNet 的动机是 conv1x1 是如上所述的 separable conv 的瓶颈。 虽然 conv1x1 已经很高效,并且似乎没有改进的余地,但是conv1x1可以用于此目的!
![](https://i-blog.csdnimg.cn/blog_migrate/0c836c5023a1343b2f5e3e5df70b4ba1.png)
MobileNet-V2
MobileNet-v2 [9] 采用了类似于 ResNet中的 残差单元 结构, 修改版本的 残差单元,其中 conv3x3 由 depthwise conv 代替。
![](https://i-blog.csdnimg.cn/blog_migrate/784217d6a59f1461698134e58b5a0598.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ab6697223ed8e270d55172a6f8c4a35a.png)
也就是说,上述模块被视为 separble conv 的修改版本,其中 separble conv 中的单个 conv1x1 被分解为两个 conv1x1。假设 T 表示 channel 维数的扩展因子,两个 conv1x1 的计算成本是 2HWN²/ T,而 separable conv 中 conv1x1 的计算成本是 HWN²。在 ShuffleNet[5] 中,使用 T = 6,将 conv1x1 的计算成本降低了3倍(通常为T / 2)。
FD-MobileNet
最后,介绍 Fast-Downsampling MobileNet(FD-MobileNet)[10]。在此模型中,与 MobileNet 相比,在较早的层中执行下采样。这个简单的技巧可以降低总计算成本。原因在于传统的下采样策略和 separable conv。
从 VGGNet 开始,许多模型采用相同的下采样策略:执行下采样,然后将后续层的 channel 维数加倍。 对于标准卷积,计算成本在下采样后不会改变,因为它由HWNK²M定义。 然而,对于 separable conv,其下采样后的计算成本变小; 它从 HWN(K² + M) 减小到 (H/2 W/2 2N(K² + 2M) = HWN(K²/2 + M)。 当 M 不那么大(即较早的层)时,减小就是相对显性的。
最后用一下 cheat shhet 结束这篇文章。
![](https://github.com/youngxiao/DeepLearning-Notes/raw/master/pic/mobilenet17.png)
参考文献
[1] M. Lin, Q. Chen, and S. Yan, “Network in Network,” in Proc. of ICLR, 2014.
others
- Github:https://github.com/youngxiao
- Email: yxiao2048@gmail.com
- conv1x1: 1x1 conv 的作用