模型的flops、推理速度、参数量

概念

FLOPs不等价于推理速度：
相同flops可能推理速度不同，小flops可能推理速度长

原因：
FLOPs表示“浮点运算次数”
模型的推理时间影响因素：内存访问MAC (memory access cost)、并行化程度、平台等

ShuffleNet v2得出的重要结论：

• 同样FLOPs下，高并行度的模型速度快于低并行度的模型。

• 分组卷积的分组数越大，MAC越大

• 卷积层输入输出通道数相同时，MAC最小

参数量则衡量模型具有的参数量值，和推理速度无关。如相同的参数量、不同的输入大小，则推理速度自然不同。

精品文章

商汤：深度学习模型大小与模型推理速度的探讨
结论：实测是评价推理速度的最正确的方式
https://mp.weixin.qq.com/s/_CB1FfzjkWghFJT1fl5d8w

参考：
https://www.zhihu.com/question/460007148