FLOPs和Params的计算

​
主要是针对于模型一次前向传播的Flops（浮点运算数）和Params（参数量）计算。

1.Flops（浮点运算数）

理解为模型的计算量，用来衡量算法/模型的复杂度。调用fvcore库的FlopCountAnalysis函数，函数的具体用法如下：

flops = FlopCountAnalysis(model, iuput)

一般传递的参数就两个，模型和输入。

​

卷积和全连接FLOPS 计算公式

$$\text{FLOPS}=\sum _i\left(2\times {\mathrm{H}}_{\text{out}}^{(i)}\times {\mathrm{W}}_{\text{out}}^{(i)}\times {\mathrm{K}}^2\times {\mathrm{C}}_{\text{in}}^{(i)}\times {\mathrm{C}}_{\text{out}}^{(i)}\right)+\sum _j\left(2\times {\mathrm{C}}_{\text{in}}^{(j)}\times {\mathrm{C}}_{\text{out}}^{(j)}\right)$$

解释：

1. 第一个求和：卷积层

$$\sum _i\left(2\times {\mathrm{H}}_{\text{out}}^{(i)}\times {\mathrm{W}}_{\text{out}}^{(i)}\times {\mathrm{K}}^2\times {\mathrm{C}}_{\text{in}}^{(i)}\times {\mathrm{C}}_{\text{out}}^{(i)}\right)$$

• ${\mathrm{H}}_{\text{out}}^{(i)}$ ：第 $i$ 层输出特征图的高度。
• ${\mathrm{W}}_{\text{out}}^{(i)}$：第 $i$ 层输出特征图的宽度。
• $K$：卷积核的大小（假设为正方形卷积核，即 $K\times \text{K}$）。
• ${\mathrm{C}}_{\text{in}}^{(i)}$：第 $i$ 层的输入通道数。
• ${\mathrm{C}}_{\text{out}}^{(i)}$：第 $i$ 层的输出通道数。
• 乘以 2 是因为卷积中的乘法和累加操作。

2. 第二个求和：全连接层

$$\sum _j\left(2\times {\mathrm{C}}_{\text{in}}^{(j)}\times {\mathrm{C}}_{\text{out}}^{(j)}\right)$$

• ${\mathrm{C}}_{\text{in}}^{(j)}$：第 $j$ 层的输入神经元数量。
• ${\mathrm{C}}_{\text{out}}^{(j)}$：第 $j$ 层的输出神经元数量。
• 乘以 2 是因为全连接层中的乘法和累加操作。

总结：

• 第一个求和计算所有卷积层的 FLOPS。
• 第二个求和计算所有全连接层的 FLOPS。
• 总 FLOPS 是这两个数量的总和。

这个公式有助于估算神经网络的计算复杂度，特别是在典型的卷积神经网络模型中。在我的模型中我还使用了注意力部分。

3. 注意力机制FLOPS 计算公式

1. 计算 Q、K、V

对于每个输入的特征矩阵 $X$，计算查询、键和值矩阵的 FLOPS：
$${\mathrm{FLOPS}}_{QKV}=3\times 2\times N\times C\times H$$

• 这里的 $3$ 表示我们需要计算查询、键和值三个矩阵。
• $2$ 是因为每个乘法和加法都需要计算。
• $N$ 是输入序列的长度（或 patch 数量）。
• $C$ 是输入特征的维度（通道数）。
• $H$ 是注意力头的数量。

2. 计算注意力分数

计算注意力分数矩阵的 FLOPS：

$${\mathrm{FLOPS}}_{att{n}_{s}cores}=2\times N\times N\times H$$

• 这里的 $N\times N$ 是因为需要计算每个查询与所有键的点积。
• $2$ 是因为每个乘法和加法都需要计算。

3. 计算加权值

计算加权后的值的 FLOPS：
$${\mathrm{FLOPS}}_{weighte{d}_V}=2\times N\times C\times H$$

• 这里的 $2$ 是因为每个乘法和加法都需要计算。

4. 综合计算

将上述部分综合，整个多头自注意力的 FLOPS 可以表示为：
$${\mathrm{FLOPS}}_{attention}={\mathrm{FLOPS}}_{QKV}+{\mathrm{FLOPS}}_{att{n}_{s}cores}+{\mathrm{FLOPS}}_{weighte{d}_V}$$

5. 最终 FLOPS 公式

整合后，多头自注意力的 FLOPS 可以用以下公式表示：
$${\mathrm{FLOPS}}_{\text{attention}}=3\times 2\times N\times C\times H+2\times N\times N\times H+2\times N\times C\times H$$

6. 简化

我们可以将上述公式进一步简化为：
$${\mathrm{FLOPS}}_{\text{attention}}=6\times N\times C\times H+2\times N\times N\times H$$
这就是多头自注意力机制的 FLOPS 计算公式。

Params（参数量）

Params（参数量）主要用来形容模型的大小程度，刻画模型的空间复杂度。模型参数量可以直接通过代码来计算。

n_parameters = sum(p.numel() for p in model.parameters() if p.requires_grad)

1. 卷积层参数量计算公式

$${\mathrm{Params}}_{conv}=(K\times K\times {\mathrm{C}}_{\text{in}}+1)\times {\mathrm{C}}_{\text{out}}$$

公式解释：

• $K$：卷积核的大小（假设为正方形卷积核，即 $K\times \text{K}$）。
• ${\mathrm{C}}_{\text{in}}$：输入通道数（输入特征的深度）。
• ${\mathrm{C}}_{\text{out}}$：输出通道数（卷积层的输出特征的深度）。
• +1 是为了考虑每个输出通道的偏置（bias）参数。

2.全连接层参数量计算公式

$${\mathrm{Params}}_{fc}=({\mathrm{C}}_{in}\times {\mathrm{C}}_{out})+{\mathrm{C}}_{out}$$

公式解释：

• ${\mathrm{C}}_{\text{in}}$：输入特征数（输入神经元的数量）。
• ${\mathrm{C}}_{\text{out}}$：输出特征数（输出神经元的数量）。
• ${\mathrm{C}}_{out}$ 是为了考虑每个输出神经元的偏置（bias）参数。

3.注意力机制参数量计算公式

1. Q、K、V 权重

对于每个输入特征矩阵 $X$，计算查询、键和值矩阵的权重：
$${\mathrm{Params}}_{QKV}=({\mathrm{C}}_{in}\times {\mathrm{C}}_{head})\times 3$$

• ${\mathrm{C}}_{\text{in}}$：输入特征维度。
• ${\mathrm{C}}_{\text{head}}$：每个头的特征维度（通常是${\mathrm{C}}_{in}/num\_heads$）。

2. 输出线性层(MLP)权重

如果有一个输出线性层，用于将多个头的输出合并：
$${\mathrm{Params}}_{out}={\mathrm{C}}_{head}\times num\_heads\times {\mathrm{C}}_{out}$$

• ${\mathrm{C}}_{\text{out}}$：最终输出特征维度。

综合计算

整个多头自注意力的参数量可以表示为：
$${\mathrm{Params}}_{attention}={\mathrm{Params}}_{QKV}+{\mathrm{Params}}_{out}$$
以上只是最简单便捷的Flops（浮点运算数）和Params（参数量）计算，实际问题还要具体分析。