如何计算模型的复杂度（参数量，FLOPs）

参考

如何计算神经网络模型的复杂度
深度学习卷积、全连接层、深度可分离层参数量和FLOPs计算公式

概念

1. Params：模型的参数量。（空间复杂度）
2. FLOPs：FLoating point Operations，前向推理的计算量。（时间复杂度）
3. MAC：Memory Access Cost。基本上看每个计算输出结果$C_{out}\times H_{out}\times W_{out}$ 相加的总和。
4. MACC(MADD)：multiply-accumulate operations：先乘起来再加起来的运算次数。 也就是 乘加 看做一次运算。
   所以 1个 MACC = 2个 FLOPs。
5. 内存量

$H_{in}$: 输入的 height
$W_{in}$: 输入的 width
$H_{out}$: 输出的 height
$W_{out}$: 输入的 width
$K$: 卷积核size
$C_{in}$: 输入的channel 数
$C_{out}$