轻量级卷积神经网络

SqueezeNet

• Fire Module：Squeeze层和Expand层
• 类似Inception结构
• 深度压缩方法

MobileNet（google）

• 精度损失可控范围内，大幅度降低参数和计算量
• 模型结构：深度可分离卷积，每个分组都是由一通道组成
  1.深度卷积（Depth-wise）：每一个channel为一个组，减少参数量，损失了通道之间的关联
  2.点卷积（Point-wise）：1*1卷积，将channel之间的信息整合，补充了通道信息
• 因为芯片对分组卷积的支持不太好，所以实际效果没有理论好
  

ShuffleNet

• 旷视科技提出
• 也是用了深度卷积代替标准卷积
• 分组卷积+通道shuffle：shuffle将通道打乱，起到通道信息整合的作用
• 与mobilenet比计算量差不多，准确性略好，实现时shuffle是难点
  

轻量级卷积神经网络设计标准

• 相同的通道宽度可最小化内存访问成本（MAC）
• 过度的组卷积会增加MAC
• 网络碎片化（Inception结构）会降低并行度
• 元素级运算不可忽视（如resnet中的+操作）

模型压缩使模型更轻

• 模型剪枝
• 模型量化/定点化（TensorFlow自动优化）
• 知识蒸馏（教师网络）：采用大的复杂网络指导小网络