概念
FLOPs不等价于推理速度:
相同flops可能推理速度不同,小flops可能推理速度长
原因:
FLOPs表示“浮点运算次数”
模型的推理时间影响因素:内存访问MAC (memory access cost)、并行化程度、平台等
ShuffleNet v2得出的重要结论:
-
同样FLOPs下,高并行度的模型速度快于低并行度的模型。
-
分组卷积的分组数越大,MAC越大
-
卷积层输入输出通道数相同时,MAC最小
参数量则衡量模型具有的参数量值,和推理速度无关。如相同的参数量、不同的输入大小,则推理速度自然不同。
精品文章
商汤:深度学习模型大小与模型推理速度的探讨
结论:实测是评价推理速度的最正确的方式
https://mp.weixin.qq.com/s/_CB1FfzjkWghFJT1fl5d8w
参考:
https://www.zhihu.com/question/460007148