神经网络中参数及计算量的推导计算

不同类型卷积计算量的计算

• 说明：

  • 假定输入Blob的shape为BxC1xHxW,输出Blob的shape为BxC2xHxW，卷积核大小为kxk。(这里假定输出的H,W与输入尺寸相同，当然也可通过计算公式计算, pad为pw与ph，stride为s）
  • 深度可分离卷积由：深度卷积（depthwise卷积）和点卷积（pointwise卷积）构成
  • pointwise卷积属于2D卷积（卷积核为1X1）;depthwise卷积属于分组卷积（组数G==输入通道数C1）
  • 分组卷积中组数G表示
  • 一些论文中卷积的计算量将乘加作为1个整体MAdds进行统计，那么类似地下面的一个卷积计算量则由$$2k^2-1$$变为$$k^2$$,其他同理。

• 2D卷积计算量

  • 一个卷积计算量：
    $$k^2+k^2-1=2k^2-1$$

  • 一张featuremap上卷积计算量：
    $$(2k^2-1)\ast W\ast H$$

  • C1张featuremap的计算量（包含每张featuremap的计算和所有featuremap的累加）：

  $$C1\ast (2k^2-1)\ast W\ast H+(C1-1)\ast W\ast H$$

  • 输出C2个通道的计算量：
    $$C2\ast [C1\ast (2k^2-1)\ast W\ast H+(C1-1)\ast W\ast H]$$
    ​ 可化简为：
    $$C2\ast W\ast H(2k^2-2+C1)$$

  • 一个blob（B个batch）的计算量：
    $$B\ast C2\ast W\ast H(2k^2-2+C1)$$

• 分组卷积计算量

  • 一个卷积计算量：
    $$k^2+k^2-1=2k^2-1$$

  • 一张featuremap上卷积计算量：
    $$(2k^2-1)\ast W\ast H$$

  • 输出一组（C1/G张）特征图的计算量（包含每张featuremap的计算和C1/G张featuremap的累加）：
    $$\frac{C1}{G}\ast (2k^2-1)\ast W\ast H+(\frac{C1}{G}-1)\ast W\ast H$$
    ​ 可化简为：
    $$\frac{C2\ast W\ast H}{G}(\frac{2k^{2}C1}{G}-1)\approx \frac{2C1C2HW{k}^2}{G^2}$$

  • 输出G组（C2/G张）featuremap的计算量：
    $$G\ast \frac{2C1C2HW{k}^2}{G^2}=\frac{2C1C2HW{k}^2}{G}$$

  • 一个blob（B个batch）的计算量：
    $$\frac{2BC1C2HW{k}^2}{G}$$

不同类型层参数量计算

• 说明：假设卷积核的大小为 kxk, 输入channel为C1, 输出channel为C2

• 2D卷积参数量:

  • bias为False：

  $$k\ast k\ast C1\ast C2$$

  • bias为True(bias的数量与输出channel的数量是一样)：
    $$k\ast k\ast C1\ast C2+C2$$

• 全连接参数量：

  • bias为False:

  $$C1\ast C2$$

  • bias为True(bias的数量与输出神经元数的数量是一样):
    $$C1\ast C2+c2$$