43.常用的轻量级网络——ShuffleNet-v2

• 旨在设计一个轻量级但是保证精度、速度的深度网络

43.1 设计思想

• 影响神经网络速度的4个因素：
  • a. FLOPs(FLOPs就是网络执行了多少multiply-adds操作)
  • b. MAC(内存访问成本)
  • c. 并行度(如果网络并行度高，速度明显提升)
  • d. 计算平台(GPU，ARM)
• ShuffleNet-v2 提出了4点网络结构设计策略：
  • G1.输入输出的channel相同时，MAC最小
  • G2.过度的组卷积会增加MAC
  • G3.网络碎片化会降低并行度
  • G4.元素级运算不可忽视

43.2 网络结构

• depthwise convolution 和 瓶颈结构增加了 MAC，用了太多的 group，跨层连接中的 element-wise Add 操作也是可以优化的点
  • 所以在 shuffleNet V2 中增加了几种新特性。
• 所谓的 channel split 其实就是将通道数一分为2，化成两分支来代替原先的分组卷积结构（G2），并且每个分支中的卷积层都是保持输入输出通道数相同（G1），其中一个分支不采取任何操作减少基本单元数（G3），最后使用了 concat 代替原来的 elementy-wise add，并且后面不加 ReLU 直接（G4），再加入channle shuffle 来增加通道之间的信息交流
  • 对于下采样层，在这一层中对通道数进行翻倍
  • 在网络结构的最后&#x