模型的参数量、计算量、延时等的关系

基本概念

1.参数量：Params
2.计算量：FLOPs，Floating Point Operations，浮点运算次数，用来衡量模型计算复杂度。
3.延时：Latency

4.内存访问成本： MAC，memory access cost，存储模型所需的存储空间。
例如某个模型需要256000个浮点参数定义，转化为bit 乘以32得8192000bit，再除8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。

5.乘加运算次数：MACs，multiply and accumulate operations，通常MACs=2FLOPs

6.每秒浮点运算次数：FLOPS，Floating Point Operations Per Second，是一个衡量硬件速度的指标。

7.每秒万亿次操作：TOPS，Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作，是处理器运算能力单位。

注意：区分FLOPs和FLOPS。

相互关系

1.相同 FLOPs 的两个模型，它们的延时可能会差很多。因为 FLOPs 只考虑模型总的计算量，而不考虑内存访问成本 (memory access cost, MAC) 和并行度 (degree of parallelism)。

2.在相同的 FLOPs 下，MAC 大的模型将具有更大的延时。

3.计算量有时候可以忽略，但是MAC