模型压缩名词理解

模型设计压缩

• 全连接网络到卷积神经网络
• 全局池化和 1x1 卷积
  • NIN 相对于 AlexNet
• vgg、googleNet、SqueezeNet 卷积拆分
  • vgg 相对于 AlexNet 2 个 3x3 替代一个 5x5
  • googleNet 非对称卷积 3x3 分解成 1x3 和 3x1
  • SqueezeNet squeeze 模块 1x1 卷积 + expand 模块 1x1 卷积和 3x3 卷积
• 从MobileNet系列看分组卷积
  • 分组卷积，即 depthwise separable convolution，depthwise convolution + pointwise convolution
  • input feature map size $M\ast D_j\ast D_j$, kernel size $D_k\ast D_k$,output feature map size $N\ast D_F\ast D_F$
  • 标准卷积运算量为 $M\ast D_k\ast D_k\ast N\ast D_F\ast D_F$, 输出特征图上的每一个像素点都是输入特征图个数个$D_k\ast D_k$ 大小的卷积核，在输入特征图上相乘相加得到，输出特征图上一共有$N\ast D_F\ast D_F$ 个像素点
  • depthwise 卷积：输入、输出通道数相等，每一个通道只在这个通道内进行卷积
  • pointwise 卷积：卷积核大小为 1x1，用于融合多通道信息
  • 分组卷积的计算量：$M\ast D_k\ast D_k\ast D_F\ast D_F$ + $M\ast 1\ast 1\ast N\ast D_F\ast D_F$
  • 计算量为原来的：$1/N+1/(D_K\ast D_K)$ , 卷积核的大小通常为 3x3，所以计算量大约减少了 1/9，接近一个数量级
• 其他，如使用较少的 feature map 数量，DenseNet