深度学习- ShuffleNet

介绍：受计算力受限的移动设备，新的架构利用两个操作：逐点群卷积（pointwise group convolution）和通道混洗(channel shuffle).Xception和ResNeXt 在小网络模型中效率低： 大量的1*1 卷积耗费计算资源。提出了逐点群卷积帮助降低计算复杂度，但是使用逐点群卷积会有副作用，故在此基础上，论文提出通道混洗帮助信息流通，相比于其他模型，ShuffleNet 允许使用更多的特征映射通道，在小型网络上有帮助于编码更多信息。

方法：

（1）针对群卷积的通道混洗：

在小型网络中，昂贵的逐点卷积造成有限的通道之间充满约束，这会显著的损失精度，为了解决这个问题，直接的方法就是应用通道稀疏连接，例如组卷积，通过确保每个卷积操作仅在对应的输入通道组上，组卷积可以显著的降低计算损失，然而如果多个组卷积堆叠在一起会有一个副作用：某个通道输出仅从一小部分输入通道中导出，如下图a 所示，这样的属性降低了通道之间的信息流通，降低了信息表达能力。

ref:https://blog.csdn.net/u011974639/article/details/79200559

2 Depthwise 卷积和Pointwise 卷积

合起来称为Depthwise Separable Convalution，改结构和常规的卷积操作类似，可以用来提取特征，但相比于常规的卷积操作，其参数量和运算成本较低，所以在一些轻量级网络中会碰到如此结构。

Depthwise 不同于常规操作，Depthwise convolution 的一个卷积核只负责一个通道，一个通道只被一个卷积核卷积。

 

 

ref:https://blog.csdn.net/googler_offer/article/details/87097298