常用的模型大小评估指标

1.计算量

影响推理速度

2.参数量

不直接影响模型推理性能

直接影响软件包的大小（影响部署）

3.访存量：模型计算时所需访问存储单元的字节大小

对推理速度至关重要

​​​​​​​影响模型推理速度的因素

模型在特定硬件上的推理速度，除了受计算量影响外，还会受访存量、硬件特性、软件实现、系统环境等诸多因素影响，呈现出复杂的特性。

1.运行平台不同（不同配置、同配置不同电脑）

2.不同深度学习框架

3.不同的复现版本

4.并行化程度，并行程度高的推理快

5.内存访问率，访问率高的推理时间长（可以理解为多次读取内存）

6.同步等待，模型分支较多，需要等待所有支路计算完毕后进入下一步计算。支路多的，推理时间长。

参考大佬的文章：深度学习模型大小与模型推理速度的探讨_Tom Hardy的博客-CSDN博客