ShuffleNet-学习记录

引入：本次学习内容基本来自于Xiangyu Zhang，Xinyu Zhou∗等编写的的《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》，以及部分讲解视频，本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。

（一）摘要：介绍了一种名为ShuffleNet的计算效率极高的CNN架构，该架构是专为计算能力非常有限的移动设备设计的。新架构利用了两个新的操作，逐点组卷积和通道混洗（重新排序），可以在保持准确性的同时大大降低计算成本。 

（二）时间：2018

（三）关键词：逐点分组卷积，通道混洗，轻量型网络结构

（四）学习笔记：

ShuffleNet的本身设计是一种轻量型网络，主要目标是在计算能力有限的设备上运行。该网络运用到了两个新的运算方法：分组逐点卷积法和通道重新排列。使用了这两个算法的ShuffleNet不论是在精准度还是计算量上都是优于同样是轻量型网络的MobileNet的。并且如果将ResNet，VGG等大型网络于ShuffleNet在相同约束条件下进行比较的话，ShuffleNet的性能都优于他们，并且复杂度更低。

在以往的模型中，为了在性能和计算成本中得到较好的平衡，大多在网络结构中都添加了1×1卷积层，但是这同时增加了模型的复杂性，而在在小型网络中，反复堆叠的逐点卷积导致通道数量有限，无法满足复杂性约束，这可能会严重影响精度。

而为了解决这个问题，一个简单的方法就是在1×1卷积层上增加稀疏层。不过，这虽然降级了计算成本，但是相应的特征信息也会随之减少。而作者提出，可以采用分组卷积再通道重新排序的方法来确保特征信息完整度的同时，也降低计算成本和复杂性。具体方法则是通过将每个分组后的通道再分成几组子通道，并且将他们全部混合，那么就可以保证不同的特征信息可以共享。

具体更改是，假设存在一个残差网络结构，首先经过1×1的降维，再是3×3的卷积，最后是1×1的升维卷积。首先将1×1的降维卷积层更改为逐点分组卷积层，再接着一个通道重新排序，接着是3×3卷积层，但是去除原来的激活函数，最后是一个1×1的逐点分组卷积层。