CNN卷积神经网络的特征图、参数量和计算量的计算公式

卷积神经网络

假设输入x的shape为($bs,c{h}_{in},h_{in},w_{in}$)，卷积核的数量为$c{h}_{out}$, 长宽为($k_h,k_w$)，padding为($p_h,p_w$)，stride为($s_h,s_w$)，则x经过该卷积核之后的shape($bs,c{h}_{out},h_{out},w_{out}$)公式可用一下来计算：

1、输入经过卷积核之后的大小计算

这个比较简单，相信大家都能够推算出来，这里不多叙述。

$$\begin{array}{rl}{h}_{out}& =\frac{h_{in}+2\ast p_h-k_h}{s_h}+1\\ w_{out}& =\frac{w_{in}+2\ast p_w-k_w}{s_w}+1\end{array}$$

2、卷积核参数量计算

首先，我们要明白一个卷积核仅有1个偏执参数，我们先算一个卷积核有多少参数，每个卷积核的通道是和输入通道$c{h}_{in}$相等的，也就是每个卷积核有$k_h\ast k_w\ast c{h}_{in}$个参数（不含偏执），一共有$c{h}_{out}$个卷积核，那么就有$k_h\ast k_w\ast c{h}_{in}\ast c{h}_{out}$个参数（不含偏执），最后加上$c{h}_{out}$个偏执，就得到了总的参数量$param$。

$$\begin{array}{rl}param& =k_h\ast k_w\ast c{h}_{out}\ast c{h}_{in}+1\ast c{h}_{out}\\ & =(k_h\ast k_w\ast c{h}_{in}+1)\ast c{h}_{out}\end{array}$$

3、计算量

$FLOPs$ 是floating point of operations的缩写，是浮点运算次数，理解为计算量，可以用来衡量算法/模型复杂度。
这里推算我们反着来，从结果看，我们得到了($c{h}_{out},h_{out},w_{out}$)个结果, 我们先计算一个结果的计算量f，之后将其×($c{h}_{out},h_{out},w_{out}$)即可得到全部计算量。

要计算f，我们知道这个结果是（1）由卷积核扫描到的区域与卷积核相乘，（2）将所有结果相加，（3）最后加上偏执得到的。假设扫描到的区域为$n\ast n\ast c$，卷积核大小也应该为$n\ast n\ast c$，点积我们可以得到$n\ast n\ast c$个数，这时我们的乘法计算量为$n\ast n\ast c$, 将这些数相加需要$n\ast n\ast c-1$个加法，最后加上偏执，则计算量需要再+1，将这些计算量相加得到一个结果的计算量；共有($c{h}_{out},h_{out},w_{out}$)个结果，最后乘以结果的数量就得到了总的计算量。

$$\begin{array}{rl}FLOPs& =[(c{h}_{in}\ast k_h\ast k_w)+(c{h}_{in}\ast k_h\ast k_w-1)+1]\ast c{h}_{out}\ast h_{out}\ast w_{out}\\ & =2\ast c{h}_{in}\ast k_h\ast k_w\ast c{h}_{out}\ast h_{out}\ast w_{out}\end{array}$$