Linux高性能集群（AMD处理器）Linpack测试方法

一、标准linpack简介

        Linpack是国际上最流行的用于测试高性能计算机系统浮点性能的benchmark。通过对高性能计算机采用高斯消元法求解一元N次稠密线性代数方程组的测试，评价高性能计算机的浮点性能。

        Linpack 测试包括三类，Linpack100、Linpack1000和HPL。Linpack100求解规模为100阶的稠密线性代数方程组，它只允许采用编译优化选项进行优化，不得更改代码，甚至代码中的注释也不得修改。Linpack1000要求求解1000阶的线性代数方程组，达到指定的精度要求，可以在 不改变计算量的前提下做算法和代码上做优化。HPL即High Performance Linpack，也叫高度并行计算基准测试，它对数组大小N没有限制，求解问题的规模可以改变，除基本算法（计算量）不可改变外，可以采用其它任何优化方 法。前两种测试运行规模较小，已不是很适合现代计算机的发展。

        衡量计算机性能的一个重要指标就是计算峰值或者浮点计算峰值，它是指计算机每秒钟能完成的浮点计算最大次数。包括理论浮点峰值和实测浮点峰值。理论浮点峰值是该计算机理论上能达到的每秒钟能完成浮点计算最大次数，它主要是由CPU的主频决定的，计算方法如下：        

        理论浮点峰值＝CPU主频×CPU每个时钟周期执行浮点运算的次数×CPU总核心数

二、测试环境

        集群一共部署13台计算服务器，主机名为node1到node13，集群内部管理网IP地址为192.168.13.111-123，集群计算网IP地址为12.12.12.11-23。

硬件配置	CPU型号	ADM EPYC 6258R*2
	内存	256G
	硬盘	2T SATA硬盘
	网络	Infiniband EDR 100Gbps
软件环境	操作系统	CentOS Linux release 7.6.1810
	HPCX	hpcx-v2.7.0-gcc
	BLIS_AMD	aocl-blis-linux-gcc-3.0-6
	HPL	aocl-hpl-blis-mt-gcc-3.0-6

三、BIOS设置关闭iommu

        BIOS中的“AMD CBS ->NB Configuration -> IOMMU“选项设置为”Disabled”。

四、BIOS设置中修改numa none

        BIOS默认每个socket对应一个numa node，linpack性能测试较差，需要修改bios中numa node：AMD CBS - DF Common Options - Memory Addressing。

五、安装二进制hpcx

下载地址：https://content.mellanox.com/hpc/hpc-x/v2.7

# tar -xf hpcx-v2.7.0-gcc-MLNX_OFED_LINUX-4.7-1.0.0.1-redhat7.6-x86_64.tbz

# cd hpcx-v2.7.0-gcc-MLNX_OFED_LINUX-4.7-1.0.0.1-redhat7.6-x86_64

# source hpcx-mt-init.sh

# hpcx_load

六、安装二进制blis_amd

下载地址：https://developer.amd.com/amd-aocl/blas-library

# tar -xf aocl-blis-linux-gcc-3.0-6.tar.gz

# cd amd-blis

# export LD_LIBRARY_PATH= /public/cpuhpl/amd-blis/lib:$LD_LIBRARY_PATH

七、安装二进制hpl

下载地址：https://developer.amd.com/amd-cpu-libraries_blis_eula/

# tar -xf aocl-hpl-blis-mt-gcc-3.0-6.tar.gz

# cd amd-hpc-blis-gcc

八、集群linpack测试

执行lscpu命令查看CPU信息：

编辑nodelist文件，格式是“节点名 slots=numa节点数量”

编辑HPL.dat文件

执行mpi测试命令：

 # mpirun --allow-run-as-root -np 208 -hostfile inodelist --mca btl self,openib -bind-to none ./xhpl_amd