衡量芯片运算能力的指标

MACCs

MACCs（Multiply-accumulate operations）表示乘加运算：b乘c加a为一次MACC指令，两次OP。

乘加运算是模型运算里的基本单元，矩阵的运算基本都是乘加。

TOPS

TOPS（Tera Operation Per Second，每秒万亿次运算），描述的是芯片AI运算方面的能力。TOPS描述的是芯片MACC（Multiply Accumulate, 乘积累加）运算的能力，常用来衡量自动驾驶的算力。MACC运算包括整数相乘和相加两个过程，自动驾驶深度学习等算法里的核心运算就是矩阵运算，矩阵运算又可以分解为数个MACC指令。

这里没有指定数据类型，具体评价算力要结合数据精度。例如某块芯片算力在INT_8数据格式下是1TOPS算力，但是在实际跑模型时也无法达到百分之百，百分之五十左右较为正常。

与此对应的还有GTOPS、MTOPS算力单位，1GTOPS代表处理器每秒钟可进行十亿次（10^9）操作，1MTOPS代表处理器每秒钟可进行一百万次（10^6）操作。

TOPS/W用于度量在1W功耗的情况下处理器能进行多少万亿次操作，也是评价处理器运算能力的一个性能指标。

INT8位精度下的MACC（乘加运算）数量在FP16（半浮点数，也就是16位浮点数）精度下等于减少了一半，FP32（浮点数，也就是32位浮点数）再减少了一半。

举例：假设有512MACC运算单元，运行频率为1GHZ，INT8的数据结构和精度，算力为512X2（2理解为一个MACC为一次乘法和一次加法，为两次运算操作）。

TOPS仅仅指处理器每秒万亿次操作，需要结合具体数据类型精度才可以用于FLOPS转换。

FLOPS

FLOPS（floating-point operations pre second）每秒所执行的浮点运算次数，表示运算速度，字尾的是大写的S，代表秒，常用来估算电脑的执行效率，尤其是在使用到大量浮点运算的科学计算领域。

浮点运算，包括了所有涉及小数的运算。这类运算在某类应用软件中常常出现，要比整数运算更耗时间。现在大部分处理器，都有一个专门用来处理浮点运算的“浮点运算器”（FPU）。因此FLOPS所量测的，实际上是FPU的执行速度。

PFLOPS：每秒一千万亿（10^15）次的浮点运算；

TFLOPS：每秒一万亿（10^12）次的浮点运算；

GFLOPS：每秒十亿（10^9）次的浮点运算；

FLOPs

FLOPs（Floating point Operations(s表示复数)）浮点运算次数，表示运算量。这个参数常用来评价深度学习模型的运算量，如果已知模型FLOPs可通过换算求得某个已知参数的芯片运行一遍模型的时间。

例如：INT_8 1TOPS算力的芯片，1TFLOPs的模型，假设芯片效率百分之百，运行一遍需要4秒，因为1TFLOPs单位是FP32；

FLOPs可以用来衡量模型的复杂度，描述了数据过一遍这么复杂的网络需要多大的计算量，即使用该模型时所需要的计算力总量。

MAC

MAC（Memory Access Cost）内存访问成本，描述了这个复杂的网络到底需要多少参数才能定义它，即存储该模型所需要的存储空间。

例如：某个模型需要256000个浮点参数定义，转化为bit乘以32得8192000bit，再除以8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。

DMIPS

DMIPS（Dhrystone Million Instructions Per Second，每秒处理的百万级的机器语言指令数），描述的是CPU的运算能力。自动驾驶多传感器融合的滤波算法、激光点云的配准算法、多数的路径规划和决策算法考验的都是CPU的运算能力。