模型时间复杂度和空间复杂度

1、时间复杂度（计算量）：即模型的运算次数，可用 FLOPS衡量，也就是浮点运算次数（FLoating-point OPerations）。

2、空间复杂度（访存量）：严格来讲包括两部分：总参数量 + 各层输出特征图。

访存量：指的是输入单个样本，模型完成一次前向传播过程中所发生的内存交换总量

 

VGG16的计算量如下所示

VGG 可以说是在计算强度上登峰造极的一个模型系列，简约不简单。以 VGG16 为例，从上表可以看到，仅包含一次前向传播的计算量就达到了 15GFLOPs，如果包含反向传播，则需要再乘二。访存量则是 Kernel Mem 和 Output Mem 之和再乘以四，大约是 600MB。因此 VGG16 的计算强度就是 25 FLOP/Byte。

 

 

参考博客：

1、https://zhuanlan.zhihu.com/p/34204282

2、https://zhuanlan.zhihu.com/p/31575074