手把手建立Roofline模型（CPU）

Roofline模型原理

Roofline模型是用来建立当前计算平台在不同的计算强度（Operational Intensity）下能够达到的理论计算上限的数学模型。论文和基础理论和应用 Roofline Model与深度学习模型的性能分析 。本文旨在教授如何根据当前开发环境机器建立该模型，并简单的介绍如何根据算法计算OI(计算强度)。

需要准备的硬件参数

对于CPU而言，我们需要一下参数：

	频率	内存带宽(double)	Avx512 Unit	Fma
Intel® Xeon® Gold 6148	2.7GHz	39.74GB/s	2	2

其中Avx512、Fma并非是必备参数。

查询CPU相关指标方法或网站:

• <https://ark.intel.com/content/www/us/en/ark/products/120489/intel-xeon-gold-6148-processor-27-5m-cache-2-40-ghz.html>
• <https://en.wikichip.org/wiki/intel/xeon_gold/6148>
• 在LINUX 下可以使用lscpu 查询.

计算相关参数：
当前CPU的理论峰值：
 $$理论性能峰值=\frac{频率\ast AVX512数量\ast FMA}{32/64}$$

AVX和FMA并不是必要参数，32/64取决于当前处理问题是单精度（32）或者双精度（64）

由上述公式，我们可以计算出Xeon Gold 6148的计算双精度理论性能峰值为2.7GHz*2(avx)*2(FMA)/64=86.4Gfplos。

计算当前内存带宽：

通常情况下我们可以通过 wikichip 搜索到，当然也可以通过 StreamBenchmark 程序获取。

建立Roofline模型

Roofline模型中的相关参数公式如下，并计算Xeon Gold 6148 的参数：

• $\pi =理论性能峰值$ ，根据上文内容，我们已经计算出当前CPU的理论性能峰值就是86.4Gflops。
• $\beta =理论内存带宽$ ，上一章节有关于理论内存带宽获取方式，当前CPU的值为39.74Gflops。
• $I_{max}=\frac{\pi }{\beta }$ ，显然易得当前值为2.17。

根据当前算法计算OI

访存密集型算法

void saxpy(double *a,double * b,double* c,int n,int s)
{
    for(int i=0;i<n;++i){
        a[i]=b[i]*s+c[i];
    }
}

分析程序的AI

该程序循环内做了一次乘法和一次加法，读取了三个数据，已知操作的数据都为64位浮点数，那么 $OI=\frac{2\ast N}{8\ast 3\ast N}=\frac{1}{12}$。根据公式 $FLOPS=OI\times BW(boundwitdh)$ 可得当前的算法的理论峰值为~3.3Gflops。实际测试结果为2.4Gflops，存在可能优化的空间。

运算密集型算法

最简单的运算密集型程序为矩阵乘法 。这里就不具体算法实现展示。直接分析程序的OI，假设矩阵的的大小为 $M$ ，矩阵乘需要加载两次矩阵，并写入一次矩阵，那么总的数据加载读取量为 $3\times M\times M$ ，矩阵乘的每个元素需要需要进行 $M$ 次乘操作和 $M-1$ 次加操作，因此，计算总量为 $2\ast (M-1)\times M^2$ ，当不考虑数据是64位浮点时，可得 $OI=\frac{2\ast (M-1)}{3\ast 8}$ 。当矩阵大小大于40时，对于当前CPU输入计算密集型程序，可达到的理论峰值为86.4Gflops。

优化方式

论文给出了一些可以优化的方式：

• 针对访存密集型程序，可以通过soft perfetch等技术优化。
• 针对计算密集型程序，可以通过SIMD等技术优化。