CPU峰值性能计算方法

最近在整cpu的CNN推理性能优化，不可避免的要清楚CPU的性能峰值在哪里，因此要算峰值算力，在查的时候发现很多人都说的不对。

CPU的峰值算力主要是从以下几个方面考虑：FMA乘加运算、Turbo frequency、CPI、CPU core、SIMD。

• FMA乘加运算：算关于cnn的算力都是算乘加的性能的，流水线后乘法和加法能够并行运算，即乘2既可。
• Turbo frequency：Turbo是intel的自动超频技术，intel cpu会根据任务量自动调整频率，用的core越少，频率会越高。下图是E5-2640的turbo frequency可以看到单core下，频率能够达到3.4GHZ。

  

• SIMD：Single Instruction multi data，单指令多数据，在CPU一般也就是SSE/AVX/AVX512这些，对于float，能够同时进行的FMA的数量即128/32 = 4、256/32 = 8、 512/32 = 16。
• CPI：即cycle per instruction即每条指令所需的周期数，是比较容易忽略的一点，一般而言是一个周期执行一条指令，但是intel一些型号的cpu有两个FMA端口，也就是能够一个周期执行两个fma指令！这是比较容易被忽略的一点，我的机子是e5-2640 v3是haswell架构的，从intel 的instrinsics guide上面可以查询到FMA的CPI如下。

 综合以上几个因素，我的机器cpu e5-2640 v3，并行级别最高的SIMD为AVX2，FMA CPI = 0.5，Turbo Frequency=3.4GHz，所以其单核浮点数峰值算力performance=2*(256/32)*3.4G/0.5 = 108GFLOPS。验证可以通过github https://github.com/pigirons/cpufp中的方法计算，如下图即106.73FLOPS，和理论值非常一致。