图像卷积及其计算（特征图尺寸、参数量、计算量）

图像卷积及其计算（特征图尺寸、参数量、计算量）

卷积前后特征图尺寸的计算

定义参数如下：

• 输入特征图尺寸： $W\times W$
• 卷积核尺寸： $F\times F$
• 步长： $S$
• 填充的像素数：$P$

则有输出特征图尺寸为 $N\times N$：
$$N=(W-F+2P)/S+1$$

参数量的计算

卷积层的参数量

卷积的参数量即卷积核的参数量，设我们有如下参数：

• 卷积核尺寸：$K$
• 前一层的通道数：$C_{in}$
• 当前层的卷积核个数：$C_{out}$

单个卷积核的参数量：
$$Param{s}_{kernel}=C_{in}\times K^2$$
有 $C_{out}$ 个卷积核，故：
$$Param{s}_{conv}=K^2\times C_{in}\times C_{out}$$

全连接层的参数量

上面已经说过卷积层的参数量计算方法了，那如何计算全连接层的参数量？其实和卷积层参数量的计算方法是一样的。我们在进行全连接层的计算之前需要将最后一层卷积得到的特征图展开为一维的向量，即 $D_{in}=H\times W\times C$ ，其中 $H,W,C$ 是最后一层卷积输出特征图的高宽和通道数，$D_{in}$ 即为本全连接层的输入特征维度，又设 $D_{out}$ 为输出特征维度，则有：
$$Param{s}_{FC}=D_{in}\times D_{out}$$
可以理解为是一个卷积层，我们就是用4096个 $7\times 7\times 512$ 的卷积核去做卷积。

验证

我们用VGG16， PyTorch来验证我们的公式是否正确。

VGG16的第一个卷积层输入为原图像 $224\times 224\times 3$，卷积核个数为 $64$，尺寸为3，则根据公式，我们有VGG16第一个卷积层的参数量：
$$Param{s}_{conv}=K^2\times C_{in}\times C_{out}=3^2\times 3\times 64=1728$$
VGG16第一个全连接层的输入维度数为最后一张特征图的尺寸拉直：$D_{in}=7\times 7\times 512$，输出维度数为4046，则：
$$Param{s}_{FC}=D_{in}\times D_{out}=4096\times 4096=102760448$$
手动计算好之后我们用PyTorch来打印输出以下看一下：

import torch
from torchvision.models import resnet50, vgg16
import numpy as np

model = vgg16()
for name, parameters in model.named_parameters():
        print(name, ':', np.prod(parameters.size()))

输出：

features.0.weight : 1728
features.0.bias : 64
...
classifier.0.weight : 102760448
classifier.0.bias : 4096

计算正确。

卷积的计算量

参考：FLOPs、FLOPS、Params的含义及PyTorch中的计算方法

MAC

MAC：Multiply Accumulate，乘加运算。乘积累加运算（英语：Multiply Accumulate, MAC）是在数字信号处理器或一些微处理器中的特殊运算。实现此运算操作的硬件电路单元，被称为“乘数累加器”。这种运算的操作，是将乘法的乘积结果和累加器的值相加，再存入累加器：
$$a\leftarrow a+b\times c$$
使用MAC可以将原本需要的两个指令操作减少到一个指令操作，从而提高运算效率。

计算量FLOPs的计算

以下不考虑激活函数的计算量。

卷积层

$(2\times C_i\times K^2-1)\times H\times W\times C_0$

$C_i$=输入通道数， $K$=卷积核尺寸，$H,W$=输出特征图空间尺寸，$C_o$=输出通道数。

一个MAC算两个个浮点运算，所以在最前面$\times 2$。不考虑bias时有$-1$，有bias时没有$-1$。由于考虑的一般是模型推理时的计算量，所以上述公式是针对一个输入样本的情况，即batch size=1。

理解上面这个公式分两步，括号内是第一步，计算出输出特征图的一个pixel的计算量，然后再乘以 $H\times W\times C_o$ 拓展到整个输出特征图。

括号内的部分又可以分为两步，$(2\cdot C_i\cdot K^2-1)=(C_i\cdot K^2)+(C_i\cdot K^2-1)$。第一项是乘法运算数，第二项是加法运算数，因为 $n$ 个数相加，要加 $n-1$ 次，所以不考虑bias，会有一个$-1$，如果考虑bias，刚好中和掉，括号内变为 $2\cdot C_i\cdot K^2$。

全连接层

全连接层： $(2\times I-1)\times O$

$I$=输入层神经元个数 ，$O$=输出层神经元个数。

还是因为一个MAC算两个个浮点运算，所以在最前面$\times 2$。同样不考虑bias时有$-1$，有bias时没有$-1$。分析同理，括号内是一个输出神经元的计算量，拓展到$O$了输出神经元。

可以用 thop 库来验证。

Ref

https://zhuanlan.zhihu.com/p/91277743