卷积神经网络轻量化的处理思路

参考：为什么轻量化网络就是快？ - 知乎这个帖子很全很有意思

标准卷积在空间域和通道域进行卷积，这两部分是相乘的，为了轻量化，有两个方向的处理思路来减少当空间域卷积复杂时对应的通道域的复杂度：

1. 减少通道数：通过1*1conv，降低通道数，再进行相应的空间域卷积和低通道数的通道域卷积，如果需要恢复通道数，则再通过1*1conv恢复通道数（ResNet的带瓶颈层残差单元的处理方案）
2. 通过分组卷积降低通道域的复杂度：减少通道域的链接。一种特殊情况是对每个通道单独进行卷积，为逐深度卷积。为了不降低精度，在分组卷积或者逐深度卷积的同时进行通道混洗。