AI算力扫盲

1. 基本概念：

• OPS（Operations Per Second）：处理器运算能力单位，
  • 1TOPS（Tera）：每秒钟可进行10^12操作；
  • 1GOPS（Giga）：每秒钟可进行10^9操作；
  • 1MOPS（Million）：每秒钟可进行10^6操作；
• FLOPS（Floating-point Operations Per Second）：也是芯片的计算速度，专指浮点数运算。
• FLOPs（Floating Point Operations）：运算数，指模型需要消耗的计算数。常用的一些经典网络，算力消耗其实是在1GFLOPS左右。像很深的ResNet可能达到几十GFLOPS。
• MIPS（Million Instructions Per Second）：CPU处理能力，字面理解为百万条指令/秒。像ARM7，可以达到几十个MIPS。
• 关于OPS和FLOPS的关系，在很多情况下可以认为是线性关系，但是OPS侧重是各类数据处理，包括了整型和浮点，FLOPS就是浮点，所以浮点数处理能力会直接影响OPS和FLOPS之间的换算关系。比如一次乘加运算，占一次浮点运算，却占了两次数值运算。

2. 参考：

算力单位的基本概念：https://zhuanlan.zhihu.com/p/337618803

FLOPS详解及常用网络的算力：https://zhuanlan.zhihu.com/p/137719986?utm_source=wechat_session