模型大小的指标和模型量化的指标和手段

一、模型大小的指标

• 1.计算量

计算次数，反映了模型对硬件计算单元的需求。计算量的单位是 OPs(Operations) 。最常用的数据格式 为 float32，因此float32类型下的计算量单位被写作 FLOPs (Floating Point Operations)，即浮点计算次数。模型的整 体计算量等于模型中每个算子的计算量之和

例子：两个shape为(N, C, H, W)的float32 tensor相加，即add，计算量为 N x C x H x W FLOPs

• 2.参数量

模型中的参数的总和，反映了模型占的磁盘空间。对于 CNN ，参数主要由 Conv/FC 层的 Weight 构成， 其他算子也有参数，不过跟这俩比较小，还有bias。

• 3.访存量