深度学习之基础模型-ShuffleNet

The new architecture utilizes two proposed operations, point wise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy.

该论文利用了point wise group convolution和channel shuffle两种技术进行了网络模型的搭建，在保证精度的前提下，大大的降低了计算量。

• pointwise group convolution：为了减少1x1卷积的操作带来的操作量。原先的卷积在所有通道上进行，作者把所有通道进行分组卷积，类似mobileNet中采用的depthwise separable convolution。（1x1卷积在很多基础模型上，都大量使用，作用也是用来减少计算量的，本文对1x1卷积更进一步，分组卷积，从而进一步降低计算量）
• shuffle channel操作：就是在分组卷积的基础上，打乱不同通道的排序，使得下一层的操作的输入能吸收来上一层不同组的内容，使得学习更佳均衡。（该思想早在AlexNet时，就采用过，当时分组的目的是由于当时的GPU显存不够，不得已而为之）

目的

保证精度的前提下，尽量减小模型的大小和计算量，从而可以在移动终端（手机）或者嵌入式设备上进行部署。
类似的工作有：

• GoogLeNet increases the depth of networks with much lower complexity compared to simply stacking convolution layers【将卷积在宽度和深度两个方向进行了拓展】
• SqeezeNet reduces parameters and computation significantly while maintaining accuracy.【利用fire module将1x1，3x3卷积拼接到一起】
• ResNet utilizes the efficient bottleneck structure to achieve impressive performance.【利用skip connection，学习残差比学习其他函数要快很多】
• Depthwise separable convolution proposed in Xception generalizes the ideas of separable convolutions in Inception series.【如何将Inception模块的思想过渡到分层卷积，运用分层卷积+残差思想】
• MobileNet utilizes the depth wise separable convolutions and gains state-of-art results among lightweight models.【利用分层卷积，达到AlexNet级别效果，但参数量少很多】

网络结构

(1)Channel Shuf