理解depth-wise 卷积

EfficientNet利用depth-wise卷积来减少FLOPs但是计算速度却并没有相应的变快。反而拥有更多FLOPs的RegNet号称推理速度是EfficientNet的5倍。非常好奇，这里面发生了什么，为什么计算量小的网络推理速度反而慢于计算量大的网络？

首先看看depth-wise卷积到底是什么：

https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728​towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728

这篇文章讲的非常全面，应有尽有，我不做重复工作了，捡重要的来说：

首先，对于普通卷积：

我们从[12,12,3]的input feature map到[8,8,256]的output feature map，需要256个[5,5,3]的卷积核。参数量为256 x 5 x 5 x 3 = 19200，乘法次数为256 x 5 x 5 x 3 x 8 x 8 = 1228800(可以理解为FLOPs)。

对于depth-wise卷积：

分为2部分：Separable Conv 以及 Point-wise Conv.

同样的，从[12,12,3]的input feature map到[8,8,256]的output feature map，需要3个[5,5,1]的卷积核和256个[1,1,3]的卷积核。参数量为3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843，乘法次数为3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952(FLOPs)。

如此一来，depth-wise conv的FLOPs只有普通卷积的~4.4%，EfficientNet的参数量少也就不足为奇了。

那么，为什么推理速度反而更慢呢？

这就要说说，如何衡量推理速度了：

Phoenix Li：FLOPs与模型推理速度1054 赞同 · 98 评论文章

上文给出了非常好的解释，我也没必要做重复工作。简单来说，depth-wise卷积的FLOPs更少没错，但是在相同的FLOPs条件下，depth-wise卷积需要的IO读取次数是普通卷积的100倍，因此，由于depth-wise卷积的小尺寸，相同的显存下，我们能放更大的batch来让GPU跑满，但是此时速度的瓶颈已经从计算变成了IO。自然desired小尺寸卷积应该有的快速的特性，也无法实现。

当然，也不该如此绝望，也许未来某天GPU的IO性能进一步提升，基于depth-wise卷积的工作就可以真正称得上是Efficient了！