ShuffleNet论文记录

简介

ShuffleNet是一个非常有效的移动卷积神经网络。它是计算效率极高的卷积神经网络结构，它的专门为计算能力有限的设备设计的，该结构利用了点态群卷积和信道混洗两种新的运算方式，保证精度的同时，降低计算成本。最精确的卷积神经网络需要数十亿的计算，本文恰好相反，在有限的计算预算中，以数十或数百个MFLops来追求最佳的准确率，我们的目标是探索一个高效的基础架构，专门为我们所需的计算范围设计。ResNet等结构大量运用1 * 1卷积耗费很多资源，使在小网络中效率较低。
本文使用了点态群卷积来减少1 * 1卷积的复杂性，为了克服群卷积的副作用，我们提出了一种新的信道混洗操作，来帮助信息在特征信道之间流动，基于这两点我们构建了ShuffleNet网络。对比其他网络，对于给定的计算复杂度预算，ShuffleNet允许使用更多的特征映射通道，有助于编码更多信息，并对小网络的性能尤为重要。

Related Work

有效的模型设计：在嵌入式设备上运行高质量的深度神经网络的需求日益增长，促使了对高效模型设计的研究。我们采用强化学习和模型搜索来探索有效的模型设计。ShuffleNet采用了群卷积和通道混洗操作，将群卷积和深度可分卷积以一种新的形式进行推广。
模型加速：该方向是在保持预训练模型和精度同时加速推理过程。ShuffleNet专注于设计更好的模型来直接提高性能，而不是加速或转换现有的模型。

Channel Shuffle for Group Convolutions

卷积的group操作从AlexNet就已经存在了，当时是为了解决模型在